Skip to main content

크롤링

TL;DR

SEO를 위해 웹사이트를 크롤링하는 것은 웹사이트에 대한 데이터를 수집하고 그에 따라 순위를 매기기 위해 거미가 처리하는 과정을 나타냅니다.

크롤링의 의미는 무엇입니까?

웹사이트 크롤링은 검색 엔진의 스파이더가 콘텐츠, 제목, 이미지, 비디오, 하이퍼링크, 앵커 텍스트, 키워드, 대체 태그 및 사이트 구조를 스캔하여 웹사이트에 대한 데이터를 획득하는 프로세스입니다. 이렇게 하면 검색 엔진이 웹사이트 유형, 관련성에 대해 더 많이 이해하고 웹에서 업데이트된 콘텐츠(새 사이트 또는 페이지, 콘텐츠 변경 또는 작동하지 않는 링크)를 찾는 데 도움이 됩니다. 수집된 모든 정보는 검색 엔진에 의해 처리되고 색인화된 다음 그에 따라 SERP에서 순위가 매겨집니다.

웹사이트에 대한 크롤링이 필요한 이유는 무엇입니까?

웹사이트가 검색 엔진 스파이더에 의해 적절하게 크롤링되지 않으면 페이지의 색인을 생성할 수 없습니다. 이것은 누군가가 사이트와 동일한 주제에 대해 검색어를 입력할 때 검색 엔진 결과 페이지에 나타나지 않음을 의미합니다.

크롤링이 어떻게 작동하는지 쉽게 이해하려면 몇 개의 웹 페이지를 가져온 다음 해당 페이지의 링크를 따라가도 가져오는 거미를 상상해 보십시오. 그런 다음 업데이트된 웹 주소 목록을 얻을 때까지 새 링크를 따라가 가리키는 페이지를 가져오는 등의 작업을 수행합니다. 이것은 눈 깜짝할 사이에 또는 더 짧은 시간에 발생합니다.

크롤링 프로세스는 과거에 수행된 크롤링 목록과 웹사이트 소유자가 검색 엔진에 제공한 사이트맵으로 시작됩니다.