Googlebot

TL; DR

Googlebotは、あるページから別のページへのリンクをたどり、関連性に基づいてそれらをインデックスに追加することにより、Webサイトを自動的にスキャンするために使用されるGoogleのクローラーです。

Googlebotとは何ですか？

Googlebotは、その名前が示すように、ウェブサイトのクロールを担当するGoogleのクローラー（ボットとも呼ばれます）です。 Googlebotは、以下に付けられた一般的な名前です。

• デスクトップ上のユーザーをシミュレートするデスクトップクローラー（Googlebotデスクトップ）。
• モバイルデバイス（Googlebotスマートフォン）でユーザーをシミュレートするモバイルクローラー。

Googlebotはどのようにサイトにアクセスしますか？

Googlebotの目的は、リンクを介してすべてのWebサイトとそのページをクロールしてスキャンすることです。基本的に、Googlebotはすべての新規または更新されたコンテンツを見つけて読み取り、その関連性に基づいてインデックスに追加します。 Googleクローラーによって作成された訪問は、リファラーログに表示される場合があり、robots.txtで指定する必要があります。

Googlebotは、サイトからできるだけ多くのページをクロールしますが、ウェブサイトの所有者が選択した否認リンクも尊重します。 Googleにウェブサイトの（再）インデックス作成を依頼するには、次の一般的なガイドラインに注意してください。