Kravler

TL;DR
At crawle et websted til SEO repræsenterer edderkoppernes proces med at indsamle data om websteder for at indeksere og rangere dem i overensstemmelse hermed.
Hvad er meningen med at kravle?
Gennemgang af et websted er processen med søgemaskiners edderkopper for at indhente data om et websted ved at scanne deres indhold, titler, billeder, videoer, hyperlinks, ankertekster, nøgleord, alt-tags og webstedsstruktur. Dette hjælper søgemaskinen med at forstå mere om typen af websted, dets relevans og finde opdateret indhold på nettet: nye websteder eller sider, ændringer i indhold eller ikke-funktionelle links. Al den indsamlede information behandles og indekseres af søgemaskinerne og rangeres derefter i SERP i overensstemmelse hermed.
Hvorfor er det at crawle efter et websted?
Hvis en hjemmeside ikke er tilstrækkeligt crawlet af søgemaskinespideren, kan siderne ikke indekseres. Det betyder, at de ikke vises på søgemaskinens resultatsider, når nogen skriver en forespørgsel for at søge efter noget om det samme emne som webstedet.
For nemt at forstå, hvordan crawling fungerer, skal du forestille dig en edderkop, der henter nogle få websider, og derefter følge links på disse sider og også hente dem. Og så følger de nye links og henter de sider, de peger på, og så videre, indtil den får en opdateret liste over webadresser. Dette sker på et øjeblik eller endnu kortere tid.
Gennemgangsprocessen begynder med en liste over gennemgange, der blev udført i fortiden, og sitemaps leveret af webstedsejere til søgemaskinerne.