스파이더 /웹 크롤러

TL;DR

스파이더 또는 봇이라고도 하는 웹 크롤러는 World Wide Web에서 크롤링하여 검색 엔진에 대한 페이지를 인덱싱하므로 특정 키워드를 검색한 후 제공된 결과는 관련성이 있습니다.

웹 크롤러, 스파이더 또는 검색 엔진 봇(예: Googlebot 또는 Bingbot)은 웹사이트에 자동으로 액세스하고 웹사이트 내의 모든 링크를 통해 인터넷 전체에서 콘텐츠를 크롤링, 다운로드 및 색인화합니다.

검색 엔진은 사용자 검색어(키워드)에 대한 응답으로 관련 링크를 수집, 색인화 및 제공하기 위해 거의 항상 봇을 작동합니다.

검색 엔진 크롤러 봇의 역할은 전체 도서관을 구성하고 쉽게 찾을 수 있도록 모든 책의 확인하기 쉬운 페이지나 카탈로그를 만드는 사람과 매우 유사합니다. 마찬가지로 봇은 웹에서 페이지를 구성하고 사용자가 검색한 내용을 기반으로 관련 페이지를 표시합니다.

새로운 페이지와 사이트는 매초 업데이트 및 게시되며 웹 크롤러의 주요 목표는 알려진 URL 목록에서 크롤링을 시작하고 다른 URL에 대한 하이퍼링크를 찾아 계속해서 페이지 목록에 추가하는 것입니다. 다음 크롤링.