Marketing

Crawlbarkeit

Wie gut Suchmaschinen wie Google die Seiten einer Website automatisch erfassen und durchsuchen können — die Voraussetzung für jede SEO-Sichtbarkeit.

Was ist Crawlbarkeit? (Definition)

Crawlbarkeit beschreibt, wie gut Suchmaschinen wie Google die Seiten einer Website mit ihren automatischen Programmen (sogenannten Crawlern oder Spiders) erfassen und durchsuchen können. Was nicht gecrawlt werden kann, kann auch nicht in den Suchergebnissen erscheinen.

Crawlbarkeit ist damit die technische Grundlage jeder SEO-Maßnahme: Selbst der beste Inhalt nützt nichts, wenn Google ihn gar nicht erst findet.

Wie funktioniert Crawling?

Suchmaschinen schicken Crawler durchs Internet, die Links folgen und Seiten herunterladen. Sie starten meist auf bekannten Seiten und navigieren von dort über interne und externe Links zu neuen Inhalten.

Jede Website hat ein begrenztes „Crawl-Budget", also eine Menge an Seiten, die Google in einem bestimmten Zeitraum crawlt. Bei kleinen Websites kein Problem, bei großen (Online-Shops, Verlage) wird das schnell zur Herausforderung.

Was Crawlbarkeit verhindern kann

robots.txt: Eine Datei, die Crawlern bestimmte Bereiche verbietet. Falsch konfiguriert sperrt sie aus Versehen die ganze Seite.
Fehlende interne Verlinkung: Wenn eine Seite nirgendwo verlinkt ist, findet sie der Crawler oft nicht.
JavaScript-only-Inhalte: Wenn Inhalte erst durch JavaScript geladen werden, sehen Crawler manchmal nichts.
Server-Probleme: Lange Antwortzeiten oder Fehler (5xx) führen dazu, dass Crawler abbrechen.
Zu tief verschachtelte Seiten: Was nur über fünf Klicks erreichbar ist, wird selten gecrawlt.

Wie wird Crawlbarkeit verbessert?

XML-Sitemap: Eine Datei, die alle wichtigen Seiten auflistet und Crawlern als Inhaltsverzeichnis dient.
Klare Seitenarchitektur: Wichtige Seiten sind über wenige Klicks erreichbar.
Saubere interne Verlinkung: Jede relevante Seite ist von mehreren anderen Seiten aus verlinkt.
robots.txt prüfen: Sicherstellen, dass nur das gesperrt ist, was wirklich gesperrt sein soll.
Server-Performance: Schnelle, stabile Antworten auf Crawl-Anfragen.

Fazit

Crawlbarkeit ist kein SEO-Bonus, sondern Pflicht. Wer sie vernachlässigt, baut die schönsten Inhalte für eine Suchmaschine, die sie nie sieht.

Theorie ist gut,
Umsetzung
ist besser.

Marco Czerny

Online Marketing Experte seit 2015

Wenn ihr wissen wollt, wie B2B-Marketing bei euch konkret funktionieren kann, lasst uns in 15 Minuten klären, ob ich euch helfen kann.

Kein Verkaufsgespräch. Ehrliche Einschätzung.

Erstgespräch buchen