クロール可能性

TL; DR
クロール可能性により、検索エンジンのスパイダーがWebサイトに関する情報を取得し、インデックスを作成するためにWebサイトをクロールするプロセスがスムーズになります。
クロール可能性とは何ですか?
クロール可能性は、検索エンジンが重要なコンテンツを見逃したり、クローラーをブロックしたりすることなくWebサイトをクロールする容易さを表しています。クローラーまたはスパイダーは、コンテンツに関する情報を収集して適切にランク付けするためにWebサイトをクロールする検索エンジンのボットを表します。
Webサイトでクロール可能性が重要なのはなぜですか?
検索エンジンのボットがWebサイトを正しくクロールし、すべての情報を取得すると、Webサイトとそのページのインデックスが正常に作成されます。
ただし、リンク切れやサイトマップの設定が間違っていると、クロール可能性の問題が発生する可能性があり、検索エンジンのスパイダーはサイト上の特定のコンテンツにアクセス、クロール、インデックスを作成できなくなります。
サイトを適切かつスムーズにクロールするには、次のアクションのリストを確認して、スパイダーがクロールするのを妨げる可能性があるため、回避してください。
- 正しいrobots.txtファイルがあり、特定のページのrobotsメタタグがクローラーをブロックしないことを確認してください。
- HTTPコードを確認してください。たとえば、ステータスコード200は、アクションが成功し、すべてが正常であることを意味します。
- SEO戦略に影響を与える可能性のあるHTTP応答ヘッダーフィールドを確認します。たとえば、x-robotsタグ(例:X-Robots-Tag:noindex)。サーバー(例:サーバー:nginx);場所(リダイレクトされるURLが機能していることを確認してください)、およびへのリンクは、要求されたリソースが他のリソースと関係があることを示します。