Hvad betyder ”crawling”?

Crawling er betegnelse for den proces, det er for en søgemaskine at ”kravle” sig gennem nettet med deres ”spiders”.

Crawling er i dag en kontinuerlig og dynamisk proces for alle de store søgemaskiner. Nye sider forsøger de at crawle så hurtigt som muligt, hvilket mange gange sker sekunder efter de publiceres. Gamle sider besøges med længere og længere mellemrum, hvis der ikke sker nogen opdateringer.

I selve crawling processen sker der en vis grad af filtrering.