Een sitemap is een XML-bestand met een lijst van URL’s van een website, die aan zoekmachines wordt doorgegeven. Google leest de sitemap om pagina’s te ontdekken, maar garandeert niet dat alle pagina’s worden gecrawld of geïndexeerd. Het onderscheid tussen ontdekken, crawlen en indexeren begrijpen verandert hoe je een sitemap gebruikt: het is geen hulpmiddel om pagina’s automatisch aan te melden, maar een diagnostisch hulpmiddel.
Wat Google echt uit de XML-sitemap haalt
De sitemap stuurt Google een lijst met URL’s en bijbehorende metadata. Niet alle metadata weegt even zwaar. Google negeert de velden priority en changefreq: ze invullen heeft geen invloed op het gedrag van de crawler.
Het veld lastmod kan daarentegen invloed hebben op hoe vaak een pagina opnieuw wordt gecrawld. Voorwaarde is wel dat de datum betrouwbaar is en overeenkomt met een daadwerkelijke wijziging van de content. Een sitemap waarvan de lastmod dagelijks wordt bijgewerkt zonder dat de content verandert, verliest alle geloofwaardigheid bij Google. Uiteindelijk negeert Google dit signaal.
Een sitemap die is aangemeld in Search Console genereert een specifiek rapport. Dit rapport toont het aantal ontdekte URL’s, maar niet hoeveel ervan zijn gecrawld of geïndexeerd. Door de iLinks-site in Google Search te bekijken, kun je snel de structuur van een sitemap visualiseren en verschillen opsporen tussen wat is opgegeven en wat Google daadwerkelijk verwerkt.
Sitemap en indexering: verschillen opsporen in Search Console
De belangrijkste waarde van een sitemap zit niet in het aanmaken ervan, maar in wat de sitemap aan het licht brengt wanneer je die vergelijkt met de gegevens in Search Console. Een site kan honderden URL’s in de sitemap opnemen, terwijl slechts een fractie daarvan wordt geïndexeerd.
Drie verwerkingsniveaus om van elkaar te onderscheiden
Een URL in de sitemap doorloopt drie opeenvolgende stappen, die elk onafhankelijk van de andere kunnen mislukken:
- Ontdekking: Google heeft de URL in de sitemap gelezen. Het rapport Sitemaps bevestigt deze stap, maar garandeert verder niets.
- Crawlen: Googlebot heeft de pagina daadwerkelijk gedownload. Een URL kan wekenlang de status ‘Ontdekt, momenteel niet geïndexeerd’ hebben als het crawlbudget van de site beperkt is.
- Indexering: de pagina is geanalyseerd, relevant genoeg bevonden en aan de index toegevoegd. Gecrawlde pagina’s kunnen worden uitgesloten vanwege dubbele of dunne content, of tegenstrijdige canonical-signalen.
Om te achterhalen waar het proces vastloopt, vergelijk je het aantal URL’s in de sitemap met het rapport ‘Pagina’s’ (voorheen Dekking) in Search Console. Pagina’s die vastlopen bij ‘Ontdekking’ wijzen op een probleem met het crawlbudget. Pagina’s met de status ‘Gecrawld, momenteel niet geïndexeerd’ wijzen op een probleem met de kwaliteit of technische signalen.
Opgegeven canonieke URL en door Google gekozen canonieke URL
Een vaak over het hoofd geziene controle is nagaan of de canonieke URL die Google kiest overeenkomt met de URL die in de sitemap is opgegeven. De URL-inspectietool van Search Console toont deze informatie voor elke pagina.
Een verschil tussen beide wijst op tegenstrijdige signalen. De sitemap kan bijvoorbeeld een URL met HTTPS bevatten, terwijl interne links nog naar de HTTP-versie verwijzen. Of een rel=”canonical”-tag in de broncode verwijst naar een andere pagina dan de pagina die in de sitemap is opgegeven.
Deze tegenstrijdigheden leiden niet tot een penalty, maar verzwakken de signalen van de pagina. Google kiest dan de canonieke URL die volgens Google het meest consistent is. Daardoor kan een andere pagina worden geïndexeerd dan de pagina die je voor ogen had. Een steekproef van strategische pagina’s controleren met de URL-inspectietool blijft de betrouwbaarste manier om dit soort problemen op te sporen.
Sitemapstructuur: index, segmentatie en meerdere bestanden
Een sitemap kan uit één bestand bestaan of uit een sitemapindex die naar meerdere onderliggende bestanden verwijst. Grote websites gebruiken deze segmentatie om URL’s te ordenen op contenttype: productpagina’s, blogartikelen, categorieën en pagina’s in verschillende talen.
Handige criteria voor segmentatie
Door een sitemap op te delen per contenttype kun je snel vaststellen welke groep pagina’s problemen oplevert. Als productpagina’s goed worden geïndexeerd, maar artikelen niet, maakt een gesegmenteerde sitemap deze diagnose in Search Console meteen duidelijk.
Een goede segmentatie is gebaseerd op een functionele logica, niet op een technische. URL’s per servermap scheiden heeft geen nut als die mappen niet overeenkomen met verschillende contenttypen. Een sitemap per contentcategorie maakt het daarentegen eenvoudiger om pagina’s afzonderlijk te volgen.
Voor elk sitemapbestand geldt een maximale bestandsgrootte. Google accepteert bestanden die binnen deze limiet blijven en in UTF-8 zijn gecodeerd. Een te groot of verkeerd gecodeerd bestand wordt simpelweg genegeerd. In sommige gevallen verschijnt daarbij geen expliciete foutmelding.
De sitemap van een concurrent bekijken om de structuur te analyseren
De sitemap van een website van derden is vaak openbaar toegankelijk. Controleer eerst het robots.txt-bestand, dat meestal beschikbaar is op /robots.txt. Hierin staat via een Sitemap-directive waar de sitemap zich bevindt.
Als robots.txt geen informatie bevat, leveren de meest gangbare paden (/sitemap.xml, /sitemap_index.xml) in de meeste gevallen resultaat op. CMS’en zoals WordPress, Shopify of Wix genereren automatisch een sitemap op een vaste locatie.
De analyse van de sitemap van een concurrent brengt verschillende structurele gegevens aan het licht: het aantal gepubliceerde pagina’s, de verdeling over contenttypen en het publicatieritme (via de lastmod-datums, als die zijn ingevuld). Zo kun je de omvang van een website inschatten zonder toegang tot de beheertools.
Een sitemap blijft een declaratief bestand. De sitemap laat zien wat de eigenaar van de website zichtbaar wil maken voor zoekmachines, maar niet noodzakelijkerwijs alle bestaande pagina’s. Pagina’s die niet in de sitemap staan, zijn soms net zo veelzeggend als de pagina’s die er wel in staan.
