Spindel /Webbsökare

TL;DR

Webbsökrobotar, även kända som spindlar eller bots, kryper över World Wide Web för att indexera sidor för sökmotorer, så resultaten som ges efter att ha sökt ett specifikt nyckelord är relevanta.

Vad är en sökrobot?

En sökrobot, spindel eller sökmotorbot (som Googlebot eller Bingbot), genomsöker, laddar ner och indexerar innehåll från hela Internet genom att automatiskt komma åt en webbplats och gå igenom alla länkar på den.

Hur fungerar sökrobotar?

Sökmotorer använder nästan alltid bots för att samla in, indexera och tillhandahålla relevanta länkar som svar på användarens sökfrågor (nyckelord).

Rollen som en sökmotorrobot är mycket lik en person som organiserar ett helt bibliotek och skapar en lättkontrollerad sida eller katalog med alla böcker för att lätt kunna hitta dem; på samma sätt organiserar botarna sidorna på webben och visar de relevanta baserat på vad en person söker.

Nya sidor och webbplatser uppdateras och publiceras varje sekund, och sökrobotarnas huvudmål är att börja genomsöka från en lista med kända webbadresser och fortsätta eftersom de hittar hyperlänkar till andra webbadresser, och de lägger till dem i listan över sidor till krypa nästa.