Skip to main content

Googlebot

TL; DR

Googlebotは、あるページから別のページへのリンクをたどり、関連性に基づいてそれらをインデックスに追加することにより、Webサイトを自動的にスキャンするために使用されるGoogleのクローラーです。

Googlebotとは何ですか?

Googlebotは、その名前が示すように、ウェブサイトのクロールを担当するGoogleのクローラー(ボットとも呼ばれます)です。 Googlebotは、以下に付けられた一般的な名前です。

  • デスクトップ上のユーザーをシミュレートするデスクトップクローラー(Googlebotデスクトップ)。
  • モバイルデバイス(Googlebotスマートフォン)でユーザーをシミュレートするモバイルクローラー。

Googlebotはどのようにサイトにアクセスしますか?

Googlebotの目的は、リンクを介してすべてのWebサイトとそのページをクロールしてスキャンすることです。基本的に、Googlebotはすべての新規または更新されたコンテンツを見つけて読み取り、その関連性に基づいてインデックスに追加します。 Googleクローラーによって作成された訪問は、リファラーログに表示される場合があり、robots.txtで指定する必要があります。

Googlebotは、サイトからできるだけ多くのページをクロールしますが、ウェブサイトの所有者が選択した否認リンクも尊重します。 Googleにウェブサイトの(再)インデックス作成を依頼するには、次の一般的なガイドラインに注意してください。