크롤링 가능성

TL;DR

크롤링 가능성은 검색 엔진의 스파이더가 웹 사이트에 대한 정보를 얻고 색인을 생성하기 위해 웹 사이트를 크롤링하는 원활한 프로세스를 보장합니다.

크롤링 가능성은 검색 엔진이 필수 콘텐츠를 누락하거나 크롤러를 차단하지 않고 웹사이트를 크롤링하는 용이함을 나타냅니다. 크롤러 또는 스파이더는 콘텐츠에 대한 정보를 수집하고 적절한 순위를 매기기 위해 웹사이트를 크롤링하는 검색 엔진의 봇을 나타냅니다.

검색 엔진의 봇이 웹사이트를 올바르게 크롤링하고 모든 정보를 가져오면 웹사이트와 해당 페이지의 색인이 생성됩니다.

그러나 깨진 링크나 잘못된 사이트맵 설정이 있는 경우 몇 가지 크롤링 문제가 발생할 수 있으며 검색 엔진의 스파이더가 사이트의 특정 콘텐츠에 액세스, 크롤링 및 색인을 생성할 수 없습니다.

사이트가 적절하고 원활하게 크롤링되도록 하려면 스파이더 크롤링을 방지할 수 있으므로 다음 작업 목록을 확인하여 피하세요.

robots.txt 파일이 올바른지 확인하고 특정 페이지의 robots 메타 태그가 크롤러를 차단하지 않는지 확인하세요.
HTTP 코드를 확인하십시오. 예를 들어 상태 코드 200은 작업이 성공했으며 모든 것이 정상임을 의미합니다.
x-robots 태그(예: X-Robots-Tag: noindex)와 같이 SEO 전략에 영향을 줄 수 있는 HTTP 응답 헤더 필드를 확인합니다. 서버(예: 서버: nginx); 위치(리디렉션될 URL이 작동하는지 확인) 및 링크는 요청된 리소스가 다른 리소스와 관계가 있음을 보여줍니다.