Skip to main content

Crawling / Ползающий

TL;DR

Ползание сайта для SEO представляет собой процесс сбора пауками данных о сайтах с целью их индексирования и ранжирования соответственно.

 

Что означает "ползать"?

Crawling a website (Ползание веб-сайта) - это процесс, в котором поисковые системы собирают данные о веб-сайтах путем сканирования их содержания, заголовков, изображений, видео, гиперссылок, якорных текстов, ключевых слов, альт-тегов и структуры сайта. Это помогает поисковой системе больше узнать о типе веб-сайта, его актуальности и найти обновленный контент в Интернете: новые сайты или страницы, изменения в содержании или нефункциональные ссылки. Вся собранная информация обрабатывается и индексируется поисковыми системами, а затем ранжируется в SERP соответственно.

Зачем нужно ползать по сайту?

Если веб-сайт недостаточно хорошо просматривается пауком поисковой системы, страницы не могут быть проиндексированы. Это означает, что они не будут отображаться на страницах результатов поисковых систем, когда кто-то набирает запрос на поиск чего-то по той же теме, что и сайт.

Чтобы легко понять, как работает процесс сканирования, представьте себе паука, который забирает несколько веб-страниц, затем переходите по ссылкам на этих страницах и тоже их забирайте. А затем следует по новым ссылкам и забирает страницы, на которые они указывают, и так далее, пока не получит обновленный список веб-адресов. Это происходит в мгновение ока или даже меньше времени.

Процесс сканирования начинается со списка сканирования, которое было сделано в прошлом, и карт сайтов, предоставленных владельцами сайтов поисковым системам.