Faut-il bloquer les robots d'IA sur son site ?

La question est mal posée, et c'est pour ça qu'on lit des réponses contradictoires. Il n'y a pas « les robots d'IA ». Il y a des robots qui viennent chercher ta page pour répondre à quelqu'un, maintenant, et des robots qui la copient pour entraîner un futur modèle. Bloquer les premiers te retire des réponses. Bloquer les seconds est un choix éditorial qui ne coûte rien à ta visibilité.

Sur 593 sites français mesurés, 5 % bloquent au moins un robot de réponse, et plus de la moitié d'entre eux sont des titres de presse qui le font en connaissance de cause. Pour tout le monde d'autre, la porte est déjà ouverte.

Robots de réponse et robots d'entraînement

Chaque éditeur de modèle a au moins deux robots, avec deux noms, et son robots.txt les distingue. Chez OpenAI, OAI-SearchBot indexe le web pour la recherche de ChatGPT et ChatGPT-User va lire une page quand un utilisateur en a besoin dans une conversation : ce sont des robots de réponse. GPTBot, lui, collecte du texte pour entraîner les prochains modèles. OpenAI l'écrit noir sur blanc : on peut autoriser le premier et refuser le troisième, les deux réglages sont indépendants.

Même découpage ailleurs. Anthropic a Claude-SearchBot et Claude-User pour répondre, ClaudeBot pour entraîner. Perplexity a PerplexityBot et Perplexity-User. Microsoft passe par Bingbot, qui sert à la fois Bing et Copilot. Et Google est le cas à part : AI Overviews et AI Mode n'ont pas de robot dédié, ils lisent ce que Googlebot a indexé. Le bloquer pour « sortir des IA » te sort aussi de Google.

Le barème applique exactement cette distinction. Les robots de réponse bloqués coûtent des points, jusqu'à 8 sur 86, Googlebot comptant triple parce qu'il porte Google, AI Overviews et AI Mode d'un coup. Les robots d'entraînement bloqués sont signalés et ne coûtent rien. C'est le deuxième parti pris de la méthode.

Sources : OpenAI · documentation des robotsGoogle · AI features & your website

Refuser l'entraînement, sans disparaître des réponses

C'est le réglage que la plupart des sites veulent sans le savoir : rester trouvable quand quelqu'un pose une question, sans nourrir gratuitement le modèle de demain. Il tient en quelques lignes.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

Rien n'est dit sur OAI-SearchBot, Claude-SearchBot ou PerplexityBot : ils tombent dans la règle générale et passent. Deux précautions. La première : Google-Extended ne fait pas que l'entraînement. Il commande aussi la lecture de ta page par Gemini au moment où quelqu'un lui pose une question. Le bloquer te retire donc des réponses de Gemini, et n'a aucun effet sur Google Search ni sur AI Overviews. Ce n'est pas un robot d'entraînement comme les autres, et le rapport te le dit quand le cas se présente.

La seconde : un robots.txt est une préférence, pas une barrière. ChatGPT-User et Perplexity-User peuvent l'ignorer quand c'est un humain qui a explicitement demandé ta page. Les robots des grands éditeurs respectent le fichier parce qu'ils l'ont annoncé, pas parce qu'ils y sont contraints. Un acteur qui ne l'annonce pas n'est arrêté par rien.

Source : Google · Google-Extended dans les robots communs

Qui bloque, en pratique ?

Presque personne, et c'est le résultat le plus solide du banc. Sur 593 sites français scannés le même jour, l'accès des robots de réponse est acquis à 98 % des points en jeu. Seuls 28 sites en bloquent au moins un, et 16 de ces 28 sont des titres de presse.

La presse est un cas à part, et un cas cohérent : 89 % des quotidiens mesurés bloquent les robots de réponse, par choix. Une réponse d'IA qui résume l'article remplace la visite qui finance la rédaction. Un journal qui bloque n'a pas raté un réglage, il défend son modèle économique. Un plombier qui bloque, lui, se prive de la seule chose qu'il voulait : être trouvé.

D'où la conclusion pratique : la promesse la plus vendue du référencement IA, « débloquer les robots », ne répare presque rien, parce que presque rien n'est bloqué. Le déficit est ailleurs, et l'étude le chiffre.

Les trois blocages qu'on fait sans le vouloir

Un robots.txt en erreur serveur. Un fichier absent est sans effet. Un fichier qui répond en erreur 5xx est pire que tout : la RFC 9309 impose alors aux robots conformes de considérer tout le site comme interdit, le temps que l'erreur dure.
Un opt-out posé par l'hébergeur. Cloudflare peut ajouter à ton robots.txt une politique de « signaux de contenu » qui déclare un refus d'usage par les IA. C'est déclaratif, personne n'est tenu de le suivre, mais beaucoup de sites l'annoncent sans l'avoir décidé. Le rapport le signale, sans le noter.
Une balise qui contredit le fichier. Un robots.txt qui laisse tout passer pendant qu'une balise noai ou un nosnippet dit le contraire. Un seul signal doit gagner, et nosnippet a un effet réel : une page indexée mais dont aucun extrait ne peut être repris est une page qu'on ne peut pas citer.

Sources : RFC 9309 · Robots Exclusion ProtocolCloudflare · Content Signals Policy

Ce que le scan vérifie, et ce qu'il ne peut pas voir

Il lit ton robots.txt et tes balises, robot par robot, et te dit lesquels sont refusés et ce que chacun te coûte. Il rejoue aussi la requête avec l'identité de chaque robot pour distinguer un refus déclaré d'un refus appliqué par le serveur. Cette sonde n'est jamais notée, et pour une raison honnête : refuser un robot qu'on ne peut pas vérifier est une défense légitime, et la sonde de Luparlia est précisément un robot qu'on ne peut pas vérifier. Un pare-feu qui la refuse en bloc a peut-être raison. Le rapport le dit alors, plutôt que de t'accuser.

Les autres questions de la série

Page mise à jour le 3 septembre 2026La grille complète Tester un site