Spider /Web Crawler

TL;DR

Webcrawlere, også kendt som edderkopper eller bots, kravler hen over World Wide Web for at indeksere sider for søgemaskiner, så de resultater, der gives efter at have søgt efter et specifikt søgeord, er relevante.

Hvad er en webcrawler?

En webcrawler, spider eller søgemaskinebot (såsom Googlebot eller Bingbot) crawler, downloader og indekserer indhold fra hele internettet ved automatisk at få adgang til et websted og gennemgå alle links på det.

Hvordan fungerer webcrawlere?

Søgemaskiner betjener næsten altid bots for at indsamle, indeksere og levere relevante links som svar på brugersøgeforespørgsler (søgeord).

Rollen som en søgemaskine-crawler-bot er meget lig en person, der organiserer et helt bibliotek og laver en let at tjekke side eller katalog over alle bøgerne for nemt at finde dem; på samme måde organiserer botterne siderne på tværs af nettet og viser de relevante baseret på, hvad en person søger.

Nye sider og websteder opdateres og udgives hvert sekund, og webcrawlernes hovedmål er at begynde at crawle fra en liste over kendte URL'er og fortsætte, da de vil finde hyperlinks til andre URL'er, og de tilføjer dem til listen over sider til kravle næste.