Skip to main content
Über uns

Crawlability (Durchsuchbarkeit)

TL;DR

Die Crawlability gewährleistet einen reibungslosen Ablauf für die Spider der Suchmaschinen, um die Website zu durchsuchen, um Informationen darüber zu erhalten und zu indizieren.

Was ist Crawlability?

Crawlability stellt die Einfachheit von Suchmaschinen dar, eine Website zu durchsuchen, ohne wesentliche Inhalte zu verpassen oder ihren Crawler zu blockieren. Crawler oder Spider repräsentieren die Bots der Suchmaschinen, die eine Website durchsuchen, um Informationen über ihren Inhalt zu sammeln und sie angemessen zu bewerten.

Warum ist die Crawlability wichtig für eine Website?

Wenn der Bot einer Suchmaschine die Website korrekt durchsucht und alle Informationen abruft, werden die Website und ihre Seiten erfolgreich indiziert.

Wenn jedoch defekte Links oder falsche Sitemap-Einstellungen vorhanden sind, kann dies zu einigen Crawlability-Problemen führen, und die Spider der Suchmaschine kann nicht auf bestimmte Inhalte auf einer Website zugreifen, diese crawlen und indizieren.

Um ein ordnungsgemäßes und reibungsloses Crawlen einer Website zu gewährleisten, überprüfen Sie diese Liste von Maßnahmen, die Sie vermeiden sollten, da sie das Crawlen der Spinnen verhindern könnten:

  • Stellen Sie sicher, dass Sie eine korrekte robots.txt-Datei haben und dass das Robots-Meta-Tag auf einer bestimmten Seite den Crawler nicht blockiert.
  • Überprüfen Sie die HTTP-Codes. z.B. Statuscode 200 bedeutet, dass die Aktion erfolgreich war und alles in Ordnung ist.
  • Überprüfen Sie die HTTP-Antwort-Header-Felder, die sich auf Ihre SEO-Strategie auswirken können: z.B. x-robots-Tag (z.B. X-Robots-Tag: noindex); Server (z.B. Server: nginx); Standort (stellen Sie sicher, dass die umzuleitenden URLs funktionieren) und Link zu zeigt, dass die angeforderte Ressource eine Beziehung zu anderen Ressourcen hat.