Canopy.
SEO & GEO · 6 min de lecture

robots.txt et robots IA : quels robots autoriser sur votre site

En bref

GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended : chaque moteur d'IA a plusieurs robots, et tous n'ont pas le même rôle. Ce guide les classe par usage et montre comment régler le fichier robots.txt selon votre objectif.

Mis à jour le Par
  • robots.txt IA
  • GPTBot
  • OAI-SearchBot
  • ClaudeBot
robots.txt et robots IA : quels robots autoriser sur votre site

Les éditeurs de moteurs d'IA utilisent plusieurs robots, et chacun a un rôle précis. Certains collectent des contenus pour entraîner des modèles. D'autres indexent le web pour la recherche. D'autres encore vont lire une page à la demande d'un utilisateur. Le fichier robots.txt permet de traiter ces trois usages séparément.

La règle pratique est la suivante : pour être cité dans les réponses, il faut autoriser les robots de recherche. Le choix d'autoriser ou non les robots d'entraînement est indépendant.

Trois familles de robots

Les robots d'entraînement collectent des pages qui peuvent servir à entraîner les modèles. GPTBot (OpenAI) et ClaudeBot (Anthropic) en font partie.

Les robots de recherche indexent le web pour alimenter les réponses avec des sources. Ce sont OAI-SearchBot (OpenAI), Claude-SearchBot (Anthropic) et PerplexityBot (Perplexity).

Les agents déclenchés par l'utilisateur vont chercher une page parce qu'une personne l'a demandé dans la conversation. Ce sont ChatGPT-User, Claude-User et Perplexity-User.

Les robots d'OpenAI

La documentation d'OpenAI décrit quatre robots.

  • OAI-SearchBot fait apparaître les sites dans les fonctionnalités de recherche de ChatGPT. Un site qui l'exclut n'est pas affiché dans les réponses de recherche, même s'il peut encore apparaître comme lien de navigation.
  • GPTBot collecte des contenus susceptibles de servir à l'entraînement des modèles. Le refuser indique que le contenu du site ne doit pas être utilisé à cette fin.
  • ChatGPT-User agit à la demande d'un utilisateur. OpenAI précise que les règles du robots.txt peuvent ne pas s'appliquer à ces requêtes, puisqu'elles sont déclenchées par une personne.
  • OAI-AdsBot visite uniquement les pages soumises comme publicités.

OpenAI ajoute que chaque réglage est indépendant et qu'une modification du robots.txt met environ 24 heures à être prise en compte pour la recherche.

Les robots d'Anthropic

Anthropic présente trois robots dans son centre d'aide.

  • ClaudeBot collecte des contenus qui peuvent contribuer à l'entraînement des modèles.
  • Claude-SearchBot parcourt le web pour améliorer la qualité des résultats de recherche. Anthropic indique que le désactiver peut réduire la visibilité du site dans ces résultats.
  • Claude-User accède à une page quand un utilisateur pose une question à Claude. Le désactiver empêche Claude de récupérer votre contenu en réponse à cette demande.

Anthropic indique que ses robots respectent les directives du robots.txt et prennent en charge l'extension Crawl-delay. L'éditeur déconseille de bloquer ses robots par adresse IP : cette méthode les empêche de lire le robots.txt et ne garantit pas un retrait durable.

Les robots de Perplexity

Perplexity documente deux robots dans sa page sur ses robots d'exploration.

  • PerplexityBot fait apparaître et lie les sites dans les résultats de Perplexity. L'éditeur précise qu'il ne sert pas à collecter du contenu pour des modèles d'IA de fondation et recommande de l'autoriser pour figurer dans les résultats.
  • Perplexity-User visite une page à la demande d'un utilisateur. Perplexity indique que ce robot ignore généralement les règles du robots.txt, puisque la requête vient d'une personne.

Le cas de Google

Google fonctionne différemment. Les Aperçus IA et le Mode IA font partie de la recherche, et c'est Googlebot qui explore les pages. Il n'existe pas de robot distinct à autoriser pour y apparaître.

Le jeton Google-Extended a un autre rôle. D'après la documentation de Google, il permet de choisir si le contenu exploré peut servir à entraîner les futurs modèles Gemini et à l'ancrage des réponses dans les applications Gemini. Google précise que ce jeton n'a aucune incidence sur l'inclusion d'un site dans la recherche et qu'il n'est pas un signal de classement.

Pour limiter ce qui s'affiche dans les fonctionnalités d'IA de la recherche, Google renvoie aux commandes habituelles : nosnippet, data-nosnippet, max-snippet et noindex. Un réglage de la Search Console, déployé pour tous les sites depuis le 31 août 2026, permet aussi de se retirer de ces fonctionnalités.

Trois configurations types

Vous voulez être cité et vous acceptez l'entraînement. Il suffit de ne bloquer aucun de ces robots. Un robots.txt qui autorise tous les robots convient.

Vous voulez être cité sans contribuer à l'entraînement. Autorisez les robots de recherche et refusez les robots d'entraînement.

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

Vous voulez rester en dehors des réponses des moteurs IA. Refusez aussi les robots de recherche. Gardez en tête que les agents déclenchés par un utilisateur peuvent encore consulter une page publique, d'après OpenAI et Perplexity.

Les pièges hors du robots.txt

Le robots.txt donne une consigne. Il ne garantit pas que le robot atteint réellement vos pages.

  • Le pare-feu applicatif. Perplexity consacre une partie de sa documentation à ce sujet. Un WAF peut bloquer ses robots, et l'éditeur recommande d'autoriser explicitement leurs plages d'adresses IP publiées. Il signale que le mode Bot Fight de Cloudflare peut encore défier ses robots malgré une règle d'autorisation.
  • Les adresses IP. OpenAI et Perplexity publient les plages d'adresses de leurs robots sous forme de fichiers JSON. Elles servent à vérifier qu'une requête vient bien du robot annoncé.
  • Le JavaScript. Un texte chargé uniquement par script peut être absent du HTML que reçoit le robot.
  • Les sous-domaines. Chaque sous-domaine a son propre robots.txt. Anthropic le rappelle dans sa documentation.

Vérifier votre configuration

Commencez par lire votre fichier, à l'adresse votre-domaine/robots.txt, et cherchez les règles qui s'appliquent à tous les robots. Consultez ensuite les journaux du serveur pour voir quels robots passent réellement.

Notre audit GEO gratuit contrôle l'accès des principaux robots IA sur une page et détecte la présence d'un fichier llms.txt.

Questions fréquentes

Bloquer GPTBot empêche-t-il d'apparaître dans ChatGPT ?

Non. OpenAI indique que les réglages sont indépendants. L'affichage dans les réponses de recherche dépend de OAI-SearchBot.

Bloquer Google-Extended fait-il baisser le classement sur Google ?

Non. Google écrit que Google-Extended n'a aucune incidence sur l'inclusion dans la recherche et qu'il n'est pas utilisé comme signal de classement.

Faut-il lister chaque robot dans le robots.txt ?

C'est facultatif. Un robot non nommé suit les règles du groupe général. Nommer les robots IA rend votre choix lisible et permet de traiter la recherche et l'entraînement séparément.

Qui peut régler tout cela à ma place ?

Une agence GEO vérifie ces accès au début de chaque mission, avec le pare-feu et l'indexation.

Un projet en tête ?

Discutons du vôtre.

Web, mobile, IA ou SEO : on revient sous 48 heures avec une première lecture.

L’auteur

Simon Duchène dirige Canopy, agence SEO et GEO basée à Bordeaux. Il pilote les audits et le conseil SEO, la stratégie de visibilité sur Google et dans les moteurs IA, et le développement des sites et des serveurs MCP que l’agence livre. Il suit de près les protocoles du web agentique, dont MCP, ACP, UCP et WebMCP.