Skip to main content

クロール可能性

TL; DR

クロール可能性により、検索エンジンのスパイダーがWebサイトに関する情報を取得し、インデックスを作成するためにWebサイトをクロールするプロセスがスムーズになります。

クロール可能性とは何ですか?

クロール可能性は、検索エンジンが重要なコンテンツを見逃したり、クローラーをブロックしたりすることなくWebサイトをクロールする容易さを表しています。クローラーまたはスパイダーは、コンテンツに関する情報を収集して適切にランク付けするためにWebサイトをクロールする検索エンジンのボットを表します。

Webサイトでクロール可能性が重要なのはなぜですか?

検索エンジンのボットがWebサイトを正しくクロールし、すべての情報を取得すると、Webサイトとそのページのインデックスが正常に作成されます。

ただし、リンク切れやサイトマップの設定が間違っていると、クロール可能性の問題が発生する可能性があり、検索エンジンのスパイダーはサイト上の特定のコンテンツにアクセス、クロール、インデックスを作成できなくなります。

サイトを適切かつスムーズにクロールするには、次のアクションのリストを確認して、スパイダーがクロールするのを妨げる可能性があるため、回避してください。

  • 正しいrobots.txtファイルがあり、特定のページのrobotsメタタグがクローラーをブロックしないことを確認してください。
  • HTTPコードを確認してください。たとえば、ステータスコード200は、アクションが成功し、すべてが正常であることを意味します。
  • SEO戦略に影響を与える可能性のあるHTTP応答ヘッダーフィールドを確認します。たとえば、x-robotsタグ(例:X-Robots-Tag:noindex)。サーバー(例:サーバー:nginx);場所(リダイレクトされるURLが機能していることを確認してください)、およびへのリンクは、要求されたリソースが他のリソースと関係があることを示します。