Skip to main content

Edderkopp /Web Crawler

TL;DR

Webcrawlere, også kjent som edderkopper eller roboter, kryper over World Wide Web for å indeksere sider for søkemotorer, slik at resultatene som gis etter å ha søkt på et spesifikt søkeord, er relevante.

Hva er en webcrawler?

En webcrawler, edderkopp eller søkemotorrobot (som Googlebot eller Bingbot), gjennomsøker, laster ned og indekserer innhold fra hele Internett ved automatisk å gå til et nettsted og gå gjennom alle koblingene på det.

Hvordan fungerer webcrawlere?

Søkemotorer bruker nesten alltid roboter for å samle inn, indeksere og gi relevante lenker som svar på brukersøk (søkeord).

Rollen til en søkemotorrobot er veldig lik en person som organiserer et helt bibliotek og lager en side eller katalog som er lett å sjekke, med alle bøkene for å finne dem enkelt; på samme måte organiserer robotene sidene på nettet og viser de relevante basert på hva en person søker.

Nye sider og nettsteder oppdateres og publiseres hvert sekund, og webcrawlernes hovedmål er å begynne å gjennomsøke fra en liste over kjente URL-er, og fortsette ettersom de vil finne hyperkoblinger til andre URL-er, og de legger disse til listen over sider til krype neste.