구글봇

TL;DR

Googlebot은 한 페이지에서 다른 페이지로 연결되는 링크를 따라 웹사이트를 자동으로 스캔하고 관련성에 따라 색인에 추가하는 데 사용되는 Google의 크롤러입니다.

구글봇이란?

Googlebot은 이름에서 알 수 있듯이 웹사이트 크롤링을 담당하는 Google 크롤러(봇이라고도 함)입니다. Googlebot은 다음에 부여되는 일반 이름입니다.

• 데스크톱(Googlebot 데스크톱)에서 사용자를 시뮬레이션하는 데스크톱 크롤러입니다.
• 휴대기기(Googlebot 스마트폰)에서 사용자를 시뮬레이션하는 모바일 크롤러입니다.

Googlebot은 귀하의 사이트에 어떻게 액세스합니까?

Googlebot의 목적은 링크를 통해 모든 웹사이트와 해당 페이지를 크롤링하고 스캔하는 것입니다. 기본적으로 Googlebot은 모든 신규 또는 업데이트된 콘텐츠를 찾아 읽고 관련성에 따라 색인에 추가합니다. Google 크롤러가 생성한 방문은 리퍼러 로그에 표시될 수 있으며 robots.txt에 지정되어야 합니다.

Googlebot은 사이트에서 가능한 한 많은 페이지를 크롤링하지만 웹사이트 소유자가 선택한 거부 링크도 존중합니다. Google에 웹사이트의 (재)색인을 요청하려면 다음 일반 지침을 참고하세요.