Accessibilité aux robots IA
- Présence du fichier robots.txt
- Robots IA autorisés (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended…)
- Fichier llms.txt
- Fichier llms-full.txt
- Sitemap XML
- Contenu présent dans le HTML servi (rendu côté serveur)
- En-tête Cache-Control qui n’interdit pas l’archivage
- Code de réponse HTTP