Паук / веб-гусеница

TL;DR

Веб-краулеры, известные также как пауки или боты, ползают по Всемирной паутине, индексируя страницы для поисковых систем, чтобы результаты, выдаваемые после поиска по определенному ключевому слову, были релевантными.

Что такое веб-краулер?

Веб-краулер, паук или бот поисковой системы (например, Googlebot или Bingbot) просматривает, загружает и индексирует контент со всего Интернета, автоматически получая доступ к веб-сайту и просматривая все ссылки на нем.

Как работают веб-краулеры?

Поисковые системы почти всегда используют ботов для сбора, индексации и предоставления релевантных ссылок в ответ на поисковые запросы пользователей (ключевые слова).

Роль бота поисковой системы очень похожа на то, как человек организует целую библиотеку и создает легко проверяемую страницу или каталог всех книг, чтобы их можно было легко найти; точно так же боты организуют страницы в Интернете и отображают релевантные страницы в зависимости от того, что ищет человек.

Новые страницы и сайты обновляются и публикуются каждую секунду, и основная цель веб-гусениц - начать поиск со списка известных URL-адресов и продолжить его, поскольку они находят гиперссылки на другие URL-адреса, и добавляют их в список страниц, которые будут просматриваться дальше.