Skip to main content

Можливість повзання

TL; DR

Можливість сканування забезпечує плавний процес сканування веб-сайту пошуковими системами, щоб отримати інформацію про нього та проіндексувати його.

Що таке сканування?

Можливість сканування означає, що пошукові системи можуть сканувати веб-сайт, не втрачаючи важливого вмісту або блокуючи їх сканер. Сканери або павуки представляють ботів пошукових систем, які сканують веб-сайт, щоб зібрати інформацію про його вміст і належним чином оцінити його.

Чому сканування важлива для веб-сайту?

Якщо бот пошукових систем правильно сканує веб-сайт і отримує всю інформацію, веб-сайт і його сторінки будуть успішно проіндексовані.

Однак, якщо є непрацюючі посилання або неправильне налаштування карти сайту, це може призвести до кількох проблем зі скануванням, і павук пошукової системи не зможе отримати доступ, сканувати та індексувати певний вміст сайту.

Щоб забезпечити правильне та плавне сканування сайту, перевірте цей список дій, яких слід уникати, оскільки вони можуть запобігти повзанню павуків:

  • Переконайтеся, що ви маєте правильний файл robots.txtі що мета-тег robots на певній сторінці не блокуватиме веб-сканера.
  • Перевірте коди HTTP. наприклад, код статусу 200 означатиме, що дія виконана успішно і все в порядку.
  • Перевірте поля заголовка відповіді HTTP, які можуть вплинути на вашу стратегію SEO: наприклад, тег x-robots (наприклад, X-Robots-Tag: noindex); сервер (наприклад, Сервер: nginx); розташування (переконайтеся, що URL-адреси для переспрямування працюють), а посилання на показує, що запитуваний ресурс має зв’язок з іншими ресурсами.