On tombe régulièrement sur des sites dont le menu affiche une dizaine de rubriques, mais où retrouver une page précise relève du parcours d’obstacles. Avant même de parler de refonte ou de SEO, la question de départ est plus simple : comment lire la structure d’un site web existant pour comprendre ce qu’il contient, ce qui manque, et ce qui pose problème aux visiteurs comme aux robots d’exploration.
Fichier robots.txt et sitemap XML : les deux premiers réflexes d’exploration
Quand on veut comprendre la structure d’un site web, on ne commence pas par cliquer dans le menu. On ouvre deux fichiers accessibles en ajoutant /robots.txt et /sitemap.xml à l’URL racine.
A découvrir également : Sportstech SX200 : notre avis complet sur ce vélo d'appartement performant
Le robots.txt indique quelles sections sont bloquées pour les robots de recherche. Un dossier entier masqué (par exemple /staging/ ou /archive/) signale souvent des contenus abandonnés ou une migration inachevée. Le sitemap XML, lui, liste les pages que le propriétaire du site considère comme indexables. Comparer le sitemap au menu de navigation révèle les écarts : pages orphelines absentes du menu, anciennes URL encore déclarées, catégories vides.
On peut consulter le site Actu Web en détail pour observer un exemple concret de sitemap structuré par rubriques thématiques, ce qui donne une lecture rapide de l’organisation éditoriale.
A voir aussi : Comment résoudre les problèmes d'accès à Govioz : causes fréquentes et solutions pratiques
Cette étape prend quelques minutes et fournit une cartographie brute du contenu avant toute analyse approfondie.
Exploration par les robots IA : GPTBot, ClaudeBot et les nouvelles règles d’accès
Depuis 2023, les journaux de serveurs enregistrent des visites de robots qui n’existaient pas quelques années plus tôt : GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Applebot ou encore OAI-SearchBot. Ces agents ne cherchent pas à indexer des pages pour un moteur classique. Ils collectent du contenu pour entraîner des modèles de langage ou alimenter des réponses conversationnelles.
Distinguer ces robots des crawlers classiques comme Googlebot est devenu une tâche à part entière. Les options de filtrage passent par le robots.txt (directives User-agent spécifiques), mais aussi par des règles CDN, WAF ou des restrictions d’IP pour un contrôle plus granulaire.
Le fichier llms.txt, une couche de structure hors HTML
Depuis 2025, plusieurs guides recommandent de placer un fichier llms.txt à la racine du site. Ce fichier liste les URL prioritaires et les politiques d’accès pour chaque agent IA. Certains y ajoutent des résumés de contenu par section.
L’objectif est de faciliter une exploration ciblée par les modèles de langage, là où le sitemap XML reste orienté vers les moteurs de recherche traditionnels. On passe d’une logique « indexation pour Google » à une logique « visibilité multi-agents » qui couvre aussi la recherche conversationnelle.
Les retours varient sur l’adoption réelle de ce fichier par les différents agents, mais le principe de segmenter les accès selon le type de robot s’impose progressivement comme une bonne pratique.
Sites en Single Page Application : le piège du contenu invisible
Un site construit en SPA (React, Vue, Angular) charge tout son contenu via JavaScript côté client. Visuellement, la navigation semble fluide. Pour un robot d’exploration, le résultat peut être une page quasi vide si le rendu serveur (SSR ou pré-rendu) n’est pas configuré.
Sans rendu côté serveur, la majorité du contenu d’une SPA reste invisible aux crawlers. Googlebot exécute du JavaScript, mais avec un délai et des limites. Les robots IA, eux, ne disposent pas tous de cette capacité.
Quand on analyse la structure d’un site SPA, il faut vérifier trois points concrets :
- Le code source brut (Ctrl+U dans le navigateur) contient-il le texte visible à l’écran, ou seulement des balises vides et des appels JavaScript ?
- Les URL internes génèrent-elles des pages distinctes côté serveur, ou tout passe-t-il par un unique point d’entrée avec des fragments (#) ?
- Le sitemap XML référence-t-il toutes les routes de l’application, y compris les sous-pages dynamiques ?
Si le code source est vide et que le sitemap ne couvre pas les routes internes, le site a un problème d’exploration qui touche autant le SEO classique que la visibilité auprès des agents IA.
Navigation mobile et profondeur de clic : mesurer l’accessibilité réelle du contenu
Sur desktop, un menu déroulant à deux niveaux donne accès à plusieurs dizaines de pages en un clic. Sur mobile, ce même menu se transforme en accordéon ou en hamburger, et chaque niveau ajoute une interaction tactile. La profondeur de clic perçue sur mobile est souvent le double de celle sur desktop.
Pour évaluer la structure du point de vue de l’utilisateur, on compte le nombre de taps nécessaires pour atteindre les pages les plus consultées. Au-delà de trois taps depuis la page d’accueil, le taux d’abandon augmente de façon notable. C’est aussi un signal pour les moteurs de recherche : une page enfouie à cinq niveaux de profondeur reçoit moins de budget de crawl.
Maillage interne et liens contextuels
Le menu principal ne suffit pas à rendre toutes les pages accessibles. Les liens intégrés dans le corps des articles ou des fiches produits constituent le maillage interne contextuel. Ce réseau de liens internes remplit deux fonctions :
- Il guide le visiteur vers des contenus complémentaires sans repasser par le menu, ce qui réduit la profondeur de navigation effective
- Il distribue l’autorité SEO entre les pages, en signalant aux robots quelles pages sont liées thématiquement
- Il offre aux agents IA des chemins d’exploration supplémentaires vers des contenus qui ne figurent pas toujours dans le sitemap
Analyser le maillage interne d’un site revient à cartographier ses connexions réelles, pas seulement son arborescence théorique.
Auditer un site web moderne : par quoi commencer concrètement
On récapitule la séquence terrain : ouvrir le robots.txt pour repérer les blocages, lire le sitemap XML pour lister les pages déclarées, vérifier la présence d’un fichier llms.txt, tester le rendu côté serveur sur quelques pages clés, puis compter la profondeur de clic sur mobile. Ces cinq vérifications couvrent les angles que la plupart des audits négligent, en particulier l’accès des robots IA au contenu et le comportement réel des sites en JavaScript.
L’exploration d’un site web ne se limite plus à sa navigation visible. La structure qui compte est celle que les robots, classiques ou conversationnels, parviennent effectivement à lire.