Um sitemap é um ficheiro XML que lista os URL de um site e transmite essa lista aos motores de pesquisa. O Google lê-o para descobrir páginas, mas não se compromete a rastreá-las todas nem a indexá-las. Compreender esta distinção entre descoberta, rastreamento e indexação muda a forma de utilizar um sitemap: não é uma ferramenta de submissão automática, mas sim uma ferramenta de diagnóstico.
O que o Google realmente retém do sitemap XML
O sitemap envia ao Google uma lista de URL acompanhada de metadados. Nem todos esses metadados têm o mesmo peso. O Google ignora os campos priority e changefreq: preenchê-los não altera o comportamento do robô.
O campo lastmod, por outro lado, pode influenciar a frequência com que uma página é rastreada novamente. A condição: a data tem de ser fiável e corresponder a uma alteração real do conteúdo. Um sitemap cujo lastmod é atualizado diariamente sem que haja alterações no conteúdo perde toda a credibilidade aos olhos do Google, que acaba por ignorar esse sinal.
Um sitemap declarado na Search Console gera um relatório específico. Esse relatório indica o número de URL descobertos, mas não quantos foram rastreados nem quantos estão indexados. Explorar o site iLinks na Pesquisa Google permite visualizar rapidamente a estrutura de um sitemap e identificar as diferenças entre o que é declarado e o que o Google efetivamente processa.
Sitemap e indexação: identificar diferenças na Search Console
O principal valor de um sitemap não está na sua criação, mas naquilo que revela quando é comparado com os dados da Search Console. Um site pode declarar várias centenas de URL no sitemap e ter apenas uma fração deles indexada.
Três níveis de processamento a distinguir
Um URL presente no sitemap passa por três etapas sucessivas, e cada uma pode falhar independentemente das outras:
- Descoberta: o Google leu o URL no sitemap. O relatório Sitemaps confirma esta etapa, mas não garante mais nada.
- Rastreamento: o Googlebot transferiu efetivamente a página. Um URL pode permanecer no estado “Descoberta, ainda não indexada” durante semanas se o orçamento de rastreamento do site for limitado.
- Indexação: a página foi analisada, considerada suficientemente relevante e adicionada ao índice. As páginas rastreadas podem ser excluídas por conteúdo duplicado, conteúdo superficial ou sinais canónicos contraditórios.
Para identificar onde ocorre o bloqueio, compare o número de URL do sitemap com o relatório “Páginas” (anteriormente Cobertura) da Search Console. As páginas bloqueadas na etapa “Descoberta” indicam um problema de orçamento de rastreamento. As páginas bloqueadas na etapa “Rastreada, não indexada” indicam um problema de qualidade ou de sinais técnicos.
URL canónico declarado e URL canónico escolhido pelo Google
Um diagnóstico muitas vezes negligenciado consiste em verificar se o URL canónico escolhido pelo Google corresponde ao declarado no sitemap. A ferramenta de inspeção de URL da Search Console apresenta esta informação para cada página.
Uma diferença entre os dois indica um conflito de sinais. Por exemplo, o sitemap pode listar um URL em HTTPS, enquanto os links internos continuam a apontar para a versão HTTP. Ou uma etiqueta rel=”canonical” no código-fonte pode apontar para outra página que não a declarada no sitemap.
Estas contradições não provocam uma penalização, mas diluem os sinais da página. O Google escolhe então o URL canónico que considera mais coerente, o que pode levar à indexação de uma página diferente da pretendida. Verificar uma amostra de páginas estratégicas através da inspeção de URL continua a ser o método mais fiável para detetar este tipo de problema.
Estrutura do sitemap: índice, segmentação e vários ficheiros
Um sitemap pode ser um ficheiro único ou um índice de sitemaps que referencia vários ficheiros secundários. Os sites de grande dimensão utilizam esta segmentação para organizar os URL por tipo de conteúdo: páginas de produtos, artigos de blog, categorias e páginas em diferentes idiomas.
Critérios de segmentação úteis
Segmentar um sitemap por tipo de conteúdo permite identificar rapidamente que grupo de páginas está a causar problemas. Se as páginas de produtos estiverem bem indexadas, mas os artigos não, um sitemap segmentado torna esse diagnóstico imediato na Search Console.
Uma boa segmentação baseia-se numa lógica funcional, não numa lógica técnica. Separar os URL por diretório do servidor não traz qualquer benefício se esses diretórios não corresponderem a tipos de conteúdo distintos. Por outro lado, um sitemap por categoria de conteúdo facilita o acompanhamento página a página.
Cada ficheiro sitemap está sujeito a um limite de tamanho. O Google aceita ficheiros que não ultrapassem esse limite e que estejam codificados em UTF-8. Um ficheiro demasiado grande ou mal codificado será simplesmente ignorado, sem uma mensagem de erro explícita em alguns casos.
Ler o sitemap de um concorrente para analisar a sua estrutura
O sitemap de um site de terceiros está muitas vezes disponível publicamente. O primeiro passo consiste em verificar o ficheiro robots.txt, geralmente acessível no endereço /robots.txt, que indica a localização do sitemap através de uma diretiva Sitemap.
Se o robots.txt não mencionar nada, testar os caminhos mais comuns (/sitemap.xml, /sitemap_index.xml) dá resultado na maioria dos casos. CMS como WordPress, Shopify ou Wix geram automaticamente um sitemap num local padronizado.
A análise do sitemap de um concorrente revela várias informações estruturais: o volume de páginas publicadas, a distribuição por tipos de conteúdo e o ritmo de publicação (através das datas lastmod, se estiverem preenchidas). Estes dados permitem avaliar a dimensão de um site sem ter acesso às suas ferramentas de administração.
O sitemap continua a ser um ficheiro declarativo. Mostra o que o proprietário do site pretende tornar visível aos motores de pesquisa, não necessariamente a totalidade das páginas existentes. As páginas excluídas do sitemap são, por vezes, tão reveladoras como as que nele figuram.
