Google, OpenAI, Microsoft et Anthropic s'alignent sur un refus d'entraînement dans robots.txt

Le 30 octobre 2026, Google, Microsoft, OpenAI et Anthropic se sont engagés à lire un même signal dans le fichier robots.txt : le jeton __usage_ai-training. Un site qui l'interdit exprime une préférence contre l'usage de ses pages pour entraîner des modèles d'IA. Le texte qui le définit, déposé le jour même par Kevin Kelley, d'Anthropic, n'est pas une norme de l'IETF, et aucun de ces quatre acteurs ne le fait déjà respecter pour l'ensemble de ses robots.

Aujourd'hui, un éditeur doit écrire une règle par entreprise : Google-Extended depuis 2023, d'autres noms chez OpenAI, Anthropic ou Microsoft. Le jeton unique vise à remplacer cette liste pour l'entraînement, sans changer la grammaire de robots.txt. Le projet draft-kelley-aipref-training-preference-signal-00 le dit : pas de nouvelle directive, les groupes que les parseurs ne reconnaissent pas restent ignorés. La page de l'IETF précise que ce document individuel n'est pas endossé par l'IETF et n'a aucun statut formel. Il expire le 3 mai 2027.

Que fait concrètement le jeton __usage_ai-training ?

Le brouillon donne l'exemple d'un groupe robots.txt dont la ligne User-Agent porte le jeton, avec un Disallow sur tout le site et un Allow sur un dossier de communiqués. Interdit, le chemin exprime un refus d'entraînement. Autorisé, il exprime un accord. L'absence totale du jeton ne veut pas dire « non » : aucune préférence n'a été écrite. Le joker User-Agent: * ne compte pas comme ce jeton. Les règles de crawl classiques, celles qui parlent à Googlebot ou à Bingbot, restent à part : le signal ne retire pas un site de la recherche.

John Mueller, sur le blog Search Central de Google, écrit que si un site refuse l'entraînement via ce jeton et ne dit rien de spécifique sur Google-Extended, Google compte traiter cela comme un refus de Google-Extended. Le même billet rappelle que les sites qui autorisent explicitement Google-Extended peuvent apparaître dans les réponses de Gemini, avec des clics. Conséquence annoncée, pas encore en service : refuser le jeton partagé, sans règle Google-Extended, retirerait aussi le site du grounding de Gemini, c'est-à-dire de l'usage des pages pour étayer une réponse. Microsoft, selon le compte rendu de PPC Land du billet Bing de Krishna Madhavan, sépare au contraire entraînement et grounding. Un même Disallow ne dit donc pas la même chose chez les deux.

« We aim to support this new control along with other AI providers in 2027. »

John Mueller, Google, le 30 octobre 2026. « We aim » est une intention, pas une date de mise en production plus précise que l'année.

Qui le lit, et à partir de quand ?

Les calendriers ne coïncident pas. PPC Land, qui a lu les billets des quatre entreprises, retient que Microsoft commencera à honorer les préférences d'entraînement et de grounding le 1er février 2027, au fil du crawl. Les balises NoArchive et NoCache cesseront, le 1er mars 2027, d'être lues comme un refus d'IA : un site qui ne comptait que sur elles doit publier le nouveau signal avant, sous peine de revenir à l'autorisation par défaut pour le grounding jusqu'au prochain passage du robot. Google vise 2027, sans jour. OpenAI parle des « prochains mois », selon The Verge et le même compte rendu. Kevin Kelley a écrit au groupe de travail que l'implémentation avait commencé chez Anthropic, en complément des robots déjà documentés, sans dire que le jeton était déjà respecté en production. The Verge résume qu'Anthropic l'a « déjà adopté » : la formulation du message de Kelley est plus étroite.

Meta n'a pas pris le même engagement. Andy Stone a salué l'idée d'un signal commun auprès de The Verge, sans dire que Meta le respecterait. Figurer dans les remerciements du brouillon n'est pas une signature.

Ce que le signal ne règle pas

Il ne crée pas de licence ni de paiement. Il ne coupe pas les AI Overviews de la recherche Google, qui ont un autre levier. Il ne dit rien des copies déjà dans un modèle entraîné. Google présente le geste comme cohérent avec le code de bonnes pratiques de l'AI Act européen, qui reconnaît robots.txt comme moyen d'exprimer une préférence. Reconnaître un fichier n'oblige pas chaque robot du monde à s'arrêter.

D'ici là, ajouter le jeton ne change pas le crawl observé. L'annonce du 30 octobre est un alignement d'intentions, pas un interrupteur.

Source

Billet de John Mueller, Google Search Central, brouillon IETF de Kevin Kelley, article d'Emma Roth sur The Verge, et synthèse de PPC Land qui rapporte le billet Bing de Krishna Madhavan et le message de Kelley au groupe AIPREF. Textes lus le 31 octobre 2026.