Skip to main content

Păianjen /Pânză Crawler

TL;DR

Crawlerele web, cunoscute și sub numele de păianjeni sau roboți, se accesează cu crawlere pe World Wide Web pentru a indexa paginile pentru motoarele de căutare, astfel încât rezultatele obținute după căutarea unui anumit cuvânt cheie sunt relevante.

Ce este un crawler web?

Un crawler web, un spider sau un motor de căutare bot (cum ar fi Googlebot sau Bingbot), accesează cu crawlere, descarcă și indexează conținutul de pe tot Internetul accesând automat un site web și parcurgând toate linkurile din acesta.

Cum funcționează crawlerele web?

Motoarele de căutare operează aproape întotdeauna roboți pentru a colecta, indexa și furniza linkuri relevante ca răspuns la interogările de căutare ale utilizatorilor (cuvinte cheie).

Rolul unui robot crawler al motorului de căutare este foarte asemănător cu cel al unei persoane care organizează o întreagă bibliotecă și creează o pagină sau un catalog ușor de verificat cu toate cărțile pentru a le găsi cu ușurință; în mod similar, boții organizează paginile de pe web și le afișează pe cele relevante în funcție de ceea ce caută o persoană.

Noile pagini și site-uri sunt actualizate și publicate în fiecare secundă, iar scopul principal al crawlerelor web este să înceapă accesarea cu crawlere dintr-o listă de adrese URL cunoscute și să continue, deoarece vor găsi hyperlinkuri către alte adrese URL și le adaugă la lista de pagini la târăşte-te în continuare.