Kurz erklärt
Beim Crawling ruft eine Suchmaschine eine Seite ab. Bei der Indexierung entscheidet sie, ob und in welcher Form der Inhalt in ihren Suchbestand aufgenommen wird.
Suchmaschinen entdecken URLs über interne Links, externe Verweise und XML-Sitemaps. Ein Crawler ruft die Adresse ab und verarbeitet HTML, Links und technische Signale. Ein erfolgreicher Abruf bedeutet jedoch noch nicht, dass die Seite indexiert wird.
Bei der Indexierung bewertet die Suchmaschine unter anderem Erreichbarkeit, Canonical, Noindex, Inhalt und Ähnlichkeit zu anderen Seiten. Eine technisch fehlerfreie Seite kann deshalb als „gecrawlt – zurzeit nicht indexiert“ erscheinen, wenn ihr eigenständiger Nutzen noch nicht deutlich genug ist.
Ein praktisches Beispiel
Mehrere nahezu gleiche Stadtseiten können erfolgreich gecrawlt werden. Google muss trotzdem nicht jede Variante indexieren, wenn die Inhalte kaum unterscheidbar sind.
- Sitemap-Eintrag mit Indexierungsgarantie verwechseln
- Nur technische Signale prüfen und Inhaltsqualität ignorieren
- Neue Seiten nach wenigen Tagen löschen
- Immer weitere ähnliche Seiten erzeugen
Häufige Fragen zu Crawling & Indexierung
Nein. Sie hilft beim Entdecken von URLs, verpflichtet eine Suchmaschine aber nicht zur Aufnahme.
Suchmaschinen können eine URL kennen, benötigen für eine belastbare inhaltliche Indexierung aber normalerweise einen erfolgreichen Abruf.
Verwandte Begriffe
Aus dem Begriff wird eine konkrete Aufgabe?
Beschreiben Sie kurz System und Ausgangslage. Wir ordnen ein, welcher nächste Schritt sinnvoll ist.
