スパイダー/Webクローラー

TL; DR

スパイダーまたはボットとも呼ばれるWebクローラーは、ワールドワイドウェブをクロールして検索エンジンのページにインデックスを付けるため、特定のキーワードを検索した後に表示される結果に関連性があります。

Webクローラー、スパイダー、または検索エンジンボット（GooglebotやBingbotなど）は、Webサイトに自動的にアクセスし、その中のすべてのリンクを通過することにより、インターネット全体からコンテンツをクロール、ダウンロード、およびインデックス付けします。

検索エンジンは、ほとんどの場合、ユーザーの検索クエリ（キーワード）に応じて関連するリンクを収集、インデックス付け、提供するためにボットを操作します。

検索エンジンのクローラーボットの役割は、図書館全体を整理し、すべての本のチェックしやすいページまたはカタログを作成して簡単に見つけることができる人と非常によく似ています。同様に、ボットはWeb全体でページを整理し、人が検索したものに基づいて関連するページを表示します。

新しいページとサイトは毎秒更新および公開されます。Webクローラーの主な目標は、既知のURLのリストからクロールを開始し、他のURLへのハイパーリンクを見つけて、それらをページのリストに追加することです。次にクロールします。