Googlebot

TL;DR
Googlebot er Googles crawler, der bruges til automatisk at scanne websteder ved at følge links fra en side til en anden og tilføje dem til indekset baseret på relevans.
Hvad er Googlebot?
Googlebot er, som navnet siger, Googles crawler (også kaldet bots) med ansvar for at crawle websteder. Googlebot er det generelle navn givet til:
- En desktop-crawler, der simulerer en bruger på skrivebordet (Googlebot Desktop).
- En mobil crawler, der simulerer en bruger på en mobilenhed (Googlebot Smartphone).
Hvordan får Googlebot adgang til dit websted?
Formålet med Googlebot er at crawle og scanne alle websteder og deres sider via links: grundlæggende finder og læser Googlebot alt det nye eller opdaterede indhold og tilføjer det til indekset baseret på dets relevans. De besøg, der er oprettet af Googles crawlere, kan blive vist i henvisningslogfilerne, og de bør angives i robots.txt.
Googlebot crawler så mange sider fra et websted som muligt, men respekterer også de afvisningslinks, som webstedsejeren har valgt. For at bede Google om at (gen)indeksere et websted, skal du være opmærksom på disse generelle retningslinjer: