Skip to main content

Spider /Web Crawler

TL; DR

Веб-сканери, також відомі як павуки або боти, сканують всесвітню павутину, щоб індексувати сторінки для пошукових систем, тому результати, надані після пошуку за певним ключовим словом, є релевантними.

Що таке веб-сканер?

Веб-сканер, павук або бот пошукової системи (наприклад, Googlebot або Bingbot) сканує, завантажує та індексує вміст з усього Інтернету, автоматично відкриваючи веб-сайт і пройшовши всі посилання в ньому.

Як працюють веб-сканери?

Пошукові системи майже завжди використовують ботів, щоб збирати, індексувати та надавати релевантні посилання у відповідь на пошукові запити користувачів (ключові слова).

Роль бота-гусеня в пошуковій системі дуже схожа на людину, яка організовує цілу бібліотеку і створює сторінку або каталог усіх книг, які легко їх знайти; подібним чином боти організують сторінки в Інтернеті та відображають релевантні на основі того, що людина шукає.

Нові сторінки та сайти оновлюються та публікуються щосекунди, і головна мета веб-сканерів – почати сканування зі списку відомих URL-адрес і продовжувати, оскільки вони знайдуть гіперпосилання на інші URL-адреси та додають їх до списку сторінок до повзати далі.