Encontramos regularmente sites cujo menu exibe uma dezena de seções, mas onde encontrar uma página específica é um verdadeiro labirinto. Antes mesmo de falar sobre reformulação ou SEO, a questão inicial é mais simples: como ler a estrutura de um site web existente para entender o que ele contém, o que falta e o que representa um problema tanto para os visitantes quanto para os robôs de exploração.
Arquivo robots.txt e sitemap XML: os dois primeiros reflexos de exploração
Quando se quer entender a estrutura de um site web, não se começa clicando no menu. Abre-se dois arquivos acessíveis adicionando /robots.txt e /sitemap.xml à URL raiz.
O robots.txt indica quais seções estão bloqueadas para os robôs de busca. Um diretório inteiro oculto (por exemplo, /staging/ ou /archive/) muitas vezes sinaliza conteúdos abandonados ou uma migração inacabada. O sitemap XML, por sua vez, lista as páginas que o proprietário do site considera indexáveis. Comparar o sitemap com o menu de navegação revela as discrepâncias: páginas órfãs ausentes do menu, URLs antigas ainda declaradas, categorias vazias.
É possível consultar o site Actu Web em detalhes para observar um exemplo concreto de sitemap estruturado por seções temáticas, o que proporciona uma leitura rápida da organização editorial.
Essa etapa leva alguns minutos e fornece um mapeamento bruto do conteúdo antes de qualquer análise aprofundada.
Exploração por robôs IA: GPTBot, ClaudeBot e as novas regras de acesso
Desde 2023, os logs de servidores registram visitas de robôs que não existiam alguns anos atrás: GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Applebot e OAI-SearchBot. Esses agentes não buscam indexar páginas para um motor de busca tradicional. Eles coletam conteúdo para treinar modelos de linguagem ou alimentar respostas conversacionais.
Distinguir esses robôs dos crawlers clássicos como o Googlebot tornou-se uma tarefa à parte. As opções de filtragem passam pelo robots.txt (diretivas User-agent específicas), mas também por regras de CDN, WAF ou restrições de IP para um controle mais granular.
O arquivo llms.txt, uma camada de estrutura fora do HTML
Desde 2025, vários guias recomendam colocar um arquivo llms.txt na raiz do site. Este arquivo lista as URLs prioritárias e as políticas de acesso para cada agente IA. Alguns adicionam resumos de conteúdo por seção.
O objetivo é facilitar uma exploração direcionada pelos modelos de linguagem, onde o sitemap XML permanece orientado para os motores de busca tradicionais. Passamos de uma lógica “indexação para o Google” para uma lógica de “visibilidade multi-agentes” que também abrange a pesquisa conversacional.
Os retornos variam sobre a adoção real desse arquivo pelos diferentes agentes, mas o princípio de segmentar os acessos conforme o tipo de robô está se impondo gradualmente como uma boa prática.
Sites em Single Page Application: a armadilha do conteúdo invisível
Um site construído em SPA (React, Vue, Angular) carrega todo seu conteúdo via JavaScript do lado do cliente. Visualmente, a navegação parece fluida. Para um robô de exploração, o resultado pode ser uma página quase vazia se o renderização do servidor (SSR ou pré-renderização) não estiver configurada.
Sem renderização do lado do servidor, a maioria do conteúdo de uma SPA permanece invisível para os crawlers. O Googlebot executa JavaScript, mas com um atraso e limites. Os robôs IA, por sua vez, não possuem todos essa capacidade.
Ao analisar a estrutura de um site SPA, é preciso verificar três pontos concretos:
- O código fonte bruto (Ctrl+U no navegador) contém o texto visível na tela, ou apenas tags vazias e chamadas JavaScript?
- As URLs internas geram páginas distintas do lado do servidor, ou tudo passa por um único ponto de entrada com fragmentos (#)?
- O sitemap XML referencia todas as rotas da aplicação, incluindo as subpáginas dinâmicas?
Se o código fonte estiver vazio e o sitemap não cobrir as rotas internas, o site tem um problema de exploração que afeta tanto o SEO clássico quanto a visibilidade perante os agentes IA.
Navegação móvel e profundidade de clique: medir a acessibilidade real do conteúdo
No desktop, um menu suspenso de dois níveis dá acesso a várias dezenas de páginas com um clique. No mobile, esse mesmo menu se transforma em acordeão ou em hamburger, e cada nível adiciona uma interação tátil. A profundidade de clique percebida no mobile é frequentemente o dobro da que se observa no desktop.
Para avaliar a estrutura do ponto de vista do usuário, contamos o número de toques necessários para alcançar as páginas mais consultadas. Além de três toques a partir da página inicial, a taxa de abandono aumenta de forma notável. Isso também é um sinal para os motores de busca: uma página enterrada a cinco níveis de profundidade recebe menos orçamento de rastreamento.
Linkagem interna e links contextuais
O menu principal não é suficiente para tornar todas as páginas acessíveis. Os links integrados no corpo dos artigos ou das fichas de produtos constituem a linkagem interna contextual. Esta rede de links internos cumpre duas funções:
- Ela guia o visitante para conteúdos complementares sem passar novamente pelo menu, o que reduz a profundidade de navegação efetiva
- Ela distribui a autoridade SEO entre as páginas, sinalizando aos robôs quais páginas estão tematicamente relacionadas
- Ela oferece aos agentes IA caminhos de exploração adicionais para conteúdos que nem sempre estão no sitemap
Analisar a linkagem interna de um site equivale a mapear suas conexões reais, não apenas sua árvore teórica.
Auditar um site web moderno: por onde começar concretamente
Vamos recapitular a sequência de campo: abrir o robots.txt para identificar bloqueios, ler o sitemap XML para listar as páginas declaradas, verificar a presença de um arquivo llms.txt, testar a renderização do lado do servidor em algumas páginas-chave e, em seguida, contar a profundidade de clique no mobile. Essas cinco verificações cobrem os ângulos que a maioria das auditorias negligencia, especialmente o acesso dos robôs IA ao conteúdo e o comportamento real dos sites em JavaScript.
A exploração de um site web não se limita mais à sua navegação visível. A estrutura que conta é aquela que os robôs, clássicos ou conversacionais, conseguem efetivamente ler.
