クロール

TL; DR
SEOのためにウェブサイトをクロールすることは、ウェブサイトに関するデータを収集し、それに応じてインデックスを付けてランク付けするスパイダーのプロセスを表しています。
クロールの意味は何ですか?
Webサイトのクロールは、検索エンジンのスパイダーがコンテンツ、タイトル、画像、ビデオ、ハイパーリンク、アンカーテキスト、キーワード、altタグ、およびサイト構造をスキャンしてWebサイトに関するデータを取得するプロセスです。これにより、検索エンジンはWebサイトの種類とその関連性をより深く理解し、Web上の更新されたコンテンツ(新しいサイトやページ、コンテンツの変更、機能しないリンク)を見つけることができます。収集されたすべての情報は、検索エンジンによって処理およびインデックス付けされ、それに応じてSERPでランク付けされます。
なぜウェブサイトをクロールするのですか?
Webサイトが検索エンジンのスパイダーによって適切にクロールされていない場合、ページのインデックスを作成できません。これは、誰かがサイトと同じトピックで何かを検索するためにクエリを入力したときに、検索エンジンの結果ページに表示されないことを意味します。
クロールがどのように機能するかを簡単に理解するために、いくつかのWebページをフェッチするスパイダーを想像してから、それらのページのリンクをたどってそれらもフェッチします。次に、新しいリンクをたどり、それらが指すページをフェッチします。以下同様に、Webアドレスの更新されたリストを取得します。これは瞬く間に、またはさらに短い時間で発生します。
クロールプロセスは、過去に実行されたクロールのリストと、Webサイトの所有者から検索エンジンに提供されたサイトマップから始まります。