Kruipend

TL;DR
Het crawlen van een website voor SEO is het proces van het verzamelen van gegevens over websites door de spiders, om deze vervolgens te indexeren en te rangschikken.
Wat is de betekenis van Crawling?
Het crawlen van een website is het proces van de spiders van zoekmachines om gegevens te verzamelen over een website door het scannen van hun inhoud, titels, afbeeldingen, video's, hyperlinks, ankerteksten, trefwoorden, alt tags, en site structuur. Dit helpt de zoekmachine meer te begrijpen over het type website, de relevantie, en het vinden van bijgewerkte inhoud op het web: nieuwe sites of pagina's, veranderingen in de inhoud of niet-functionele links. Alle verzamelde informatie wordt verwerkt en geïndexeerd door de zoekmachines en vervolgens gerangschikt in SERP dienovereenkomstig.
Waarom is crawling voor een website?
Als een website niet adequaat wordt gecrawld door de zoekmachine spider, kunnen de pagina's niet worden geïndexeerd. Dit betekent dat ze niet zullen verschijnen in de zoekmachine resultaten pagina's wanneer iemand een query intypt om iets te zoeken over hetzelfde onderwerp als de site.
Om gemakkelijk te begrijpen hoe crawling werkt, stel je een spider voor die een paar webpagina's ophaalt, dan de links op die pagina's volgt en ook die ophaalt. Dan volgt hij de nieuwe links en haalt de pagina's op waarnaar ze verwijzen, enzovoort, tot hij een bijgewerkte lijst van webadressen heeft. Dit gebeurt in een oogwenk of zelfs in minder tijd.
Het crawl proces begint met een lijst van crawls die in het verleden zijn gedaan en sitemaps die door website-eigenaren aan de zoekmachines zijn verstrekt.