Eine Sitemap ist eine XML-Datei, die die URLs einer Website auflistet und diese Liste an Suchmaschinen übermittelt. Google liest sie, um Seiten zu entdecken, verpflichtet sich jedoch weder dazu, alle Seiten zu crawlen noch sie zu indexieren. Wer den Unterschied zwischen Entdeckung, Crawling und Indexierung versteht, nutzt Sitemaps anders: Sie sind kein Werkzeug zur automatischen Einreichung, sondern ein Diagnoseinstrument.
Was Google tatsächlich aus der XML-Sitemap berücksichtigt
Die Sitemap übermittelt Google eine Liste von URLs mit Metadaten. Diese Metadaten haben nicht alle dasselbe Gewicht. Google ignoriert die Felder priority und changefreq: Ihre Angabe hat keinen Einfluss auf das Verhalten des Crawlers.
Das Feld lastmod kann dagegen beeinflussen, wie häufig eine Seite erneut gecrawlt wird. Voraussetzung ist, dass das Datum zuverlässig ist und einer tatsächlichen Änderung des Inhalts entspricht. Wird das lastmod-Datum einer Sitemap täglich aktualisiert, obwohl sich der Inhalt nicht ändert, verliert sie in den Augen von Google ihre Glaubwürdigkeit. Der Suchmaschinenriese ignoriert dieses Signal dann irgendwann.
Eine in der Search Console eingereichte Sitemap erzeugt einen eigenen Bericht. Dieser zeigt die Anzahl der entdeckten URLs, aber nicht, wie viele davon gecrawlt oder indexiert wurden. Mit der Website iLinks in Google Search lässt sich die Struktur einer Sitemap schnell visualisieren und erkennen, wo es Abweichungen zwischen den eingereichten URLs und den von Google tatsächlich verarbeiteten URLs gibt.
Sitemap und Indexierung: Abweichungen in der Search Console erkennen
Der größte Nutzen einer Sitemap liegt nicht in ihrer Erstellung, sondern in den Erkenntnissen, die sich aus dem Abgleich mit den Daten der Search Console gewinnen lassen. Eine Website kann mehrere hundert URLs in ihrer Sitemap aufführen, von denen jedoch nur ein Bruchteil indexiert wird.
Drei Verarbeitungsstufen unterscheiden
Eine in der Sitemap aufgeführte URL durchläuft nacheinander drei Schritte, von denen jeder unabhängig von den anderen scheitern kann:
- Entdeckung: Google hat die URL in der Sitemap gelesen. Der Bericht „Sitemaps“ bestätigt diesen Schritt, garantiert aber nichts darüber hinaus.
- Crawling: Googlebot hat die Seite tatsächlich abgerufen. Eine URL kann wochenlang den Status „Entdeckt, zurzeit nicht indexiert“ haben, wenn das Crawl-Budget der Website begrenzt ist.
- Indexierung: Die Seite wurde analysiert, als relevant genug eingestuft und in den Index aufgenommen. Gecrawlte Seiten können wegen doppelter oder dünner Inhalte oder widersprüchlicher Canonical-Signale ausgeschlossen werden.
Um herauszufinden, an welcher Stelle es hakt, vergleichen Sie die Anzahl der URLs in der Sitemap mit dem Bericht „Seiten“ (früher „Abdeckung“) in der Search Console. Seiten, die beim Schritt „Entdeckung“ hängen bleiben, weisen auf ein Problem mit dem Crawl-Budget hin. Seiten mit dem Status „Gecrawlt – zurzeit nicht indexiert“ deuten auf Probleme mit der Qualität oder technischen Signalen hin.
Angegebene kanonische URL und von Google ausgewählte kanonische URL
Bei einer oft vernachlässigten Diagnose sollte geprüft werden, ob die von Google ausgewählte kanonische URL mit der in der Sitemap angegebenen übereinstimmt. Das URL-Prüftool der Search Console zeigt diese Information für jede Seite an.
Eine Abweichung zwischen beiden weist auf widersprüchliche Signale hin. So kann die Sitemap beispielsweise eine HTTPS-URL aufführen, während interne Links noch auf die HTTP-Version verweisen. Oder ein rel=”canonical”-Tag im Quellcode verweist auf eine andere Seite als die in der Sitemap angegebene.
Solche Widersprüche führen zwar nicht zu einer Abstrafung, schwächen aber die Signale der Seite. Google wählt dann die kanonische URL aus, die seiner Einschätzung nach am stimmigsten ist. Dadurch kann eine andere als die gewünschte Seite indexiert werden. Eine Stichprobe strategisch wichtiger Seiten mit dem URL-Prüftool zu kontrollieren, ist nach wie vor die zuverlässigste Methode, um solche Probleme aufzudecken.
Aufbau der Sitemap: Index, Segmentierung und mehrere Dateien
Eine Sitemap kann aus einer einzelnen Datei oder einem Sitemap-Index bestehen, der auf mehrere untergeordnete Dateien verweist. Große Websites nutzen diese Segmentierung, um ihre URLs nach Inhaltstyp zu ordnen: Produktseiten, Blogartikel, Kategorien oder Seiten in verschiedenen Sprachen.
Sinnvolle Kriterien für die Segmentierung
Wird eine Sitemap nach Inhaltstypen segmentiert, lässt sich schnell erkennen, welche Seitengruppe Probleme bereitet. Sind Produktseiten gut indexiert, Blogartikel hingegen nicht, wird die Diagnose durch die segmentierte Sitemap in der Search Console sofort sichtbar.
Eine gute Segmentierung folgt einer funktionalen und keiner technischen Logik. URLs nach Serververzeichnissen aufzuteilen, bringt nichts, wenn diese Verzeichnisse nicht unterschiedlichen Inhaltstypen entsprechen. Dagegen erleichtert eine Sitemap pro Inhaltskategorie die Überwachung jeder einzelnen Seite.
Für jede Sitemap-Datei gilt eine Größenbeschränkung. Google akzeptiert Dateien, die diese Grenze nicht überschreiten und UTF-8-kodiert sind. Eine zu große oder falsch kodierte Datei wird einfach ignoriert – in manchen Fällen ohne ausdrückliche Fehlermeldung.
Die Sitemap eines Wettbewerbers analysieren
Die Sitemap einer fremden Website ist oft öffentlich zugänglich. Prüfen Sie zunächst die Datei robots.txt, die in der Regel unter /robots.txt erreichbar ist. Über eine Sitemap-Direktive gibt sie den Speicherort der Sitemap an.
Enthält die robots.txt keinen entsprechenden Eintrag, führen Tests mit den gängigsten Pfaden (/sitemap.xml, /sitemap_index.xml) in den meisten Fällen zum Ziel. CMS wie WordPress, Shopify oder Wix erstellen automatisch eine Sitemap an einem standardisierten Speicherort.
Die Analyse der Sitemap eines Wettbewerbers liefert verschiedene strukturelle Informationen: die Anzahl veröffentlichter Seiten, die Verteilung auf unterschiedliche Inhaltstypen und den Veröffentlichungsrhythmus (anhand der lastmod-Daten, sofern diese angegeben sind). Anhand dieser Daten lässt sich der Umfang einer Website einschätzen, ohne Zugriff auf ihre Administrationswerkzeuge zu haben.
Eine Sitemap ist eine deklarative Datei. Sie zeigt, welche Inhalte der Websitebetreiber für Suchmaschinen sichtbar machen möchte, aber nicht unbedingt alle vorhandenen Seiten. Seiten, die aus der Sitemap ausgeschlossen sind, können ebenso aufschlussreich sein wie die darin aufgeführten.
