Skip to main content

Spider /Web Crawler

TL;DR

Webové prohledávače, známé také jako pavouci nebo roboti, procházejí World Wide Web za účelem indexování stránek pro vyhledávače, takže výsledky získané po vyhledání konkrétního klíčového slova jsou relevantní.

Co je webový prohledávač?

Webový prohledávač, pavouk nebo robot vyhledávače (jako je Googlebot nebo Bingbot) prochází, stahuje a indexuje obsah z celého internetu tak, že automaticky vstoupí na webovou stránku a projde všechny odkazy na ní.

Jak fungují webové prohledávače?

Vyhledávače téměř vždy provozují roboty za účelem shromažďování, indexování a poskytování relevantních odkazů v reakci na vyhledávací dotazy uživatelů (klíčová slova).

Role robota prohledávače je velmi podobná osobě, která organizuje celou knihovnu a vytváří snadno kontrolovatelnou stránku nebo katalog všech knih, aby je bylo možné snadno najít; podobně roboti organizují stránky na webu a zobrazují ty relevantní na základě toho, co člověk vyhledává.

Nové stránky a weby jsou aktualizovány a publikovány každou sekundu a hlavním cílem webových prohledávačů je začít procházet ze seznamu známých adres URL a pokračovat, když najdou hypertextové odkazy na jiné adresy URL a přidají je do seznamu stránek na prolézt další.