Skip to main content

Spider-/webcrawler

TL;DR

Webcrawlers, ook wel spiders of bots genoemd, kruipen over het World Wide Web om pagina's voor zoekmachines te indexeren, zodat de resultaten die worden gegeven na het zoeken op een specifiek trefwoord relevant zijn.

Wat is een webcrawler?

Een webcrawler, spider of zoekmachinebot (zoals Googlebot of Bingbot), crawlt, downloadt en indexeert inhoud van over het hele internet door automatisch toegang te krijgen tot een website en alle links erin te doorlopen.

Hoe werken webcrawlers?

Zoekmachines gebruiken bijna altijd bots om relevante links te verzamelen, te indexeren en aan te bieden als reactie op zoekopdrachten van gebruikers (trefwoorden).

De rol van een crawler-bot van een zoekmachine lijkt erg op iemand die een hele bibliotheek organiseert en een gemakkelijk te controleren pagina of catalogus maakt van alle boeken om ze gemakkelijk te vinden; op dezelfde manier organiseren de bots de pagina's op internet en geven ze de relevante weer op basis van wat een persoon zoekt.

Nieuwe pagina's en sites worden elke seconde bijgewerkt en gepubliceerd, en het belangrijkste doel van de webcrawlers is om te beginnen met het crawlen van een lijst met bekende URL's en door te gaan, aangezien ze hyperlinks naar andere URL's zullen vinden en deze aan de lijst met pagina's toe te voegen. volgende kruipen.