Aller au contenu
KLYNLABS

OpenAI admet perdre pied face au raisonnement de ses propres IA

Dans une tribune, le chef scientifique de l'entreprise décrit l'érosion de la surveillance de la « chaîne de pensée », pilier de sa stratégie de sécurité depuis o1-preview.

Kelvyn3 min de lecture

Dans une tribune publiée le 6 septembre 2026 sur le blog d'OpenAI et intitulée « An Alien Mind », Jakub Pachocki, chef scientifique de l'entreprise, décrit un problème que l'industrie de l'IA préfère habituellement garder discret : l'outil sur lequel elle s'appuie pour surveiller le raisonnement de ses propres modèles devient de moins en moins fiable.

Ce que la « surveillance de la chaîne de pensée » est censée faire

Depuis le lancement d'o1-preview, OpenAI a fait de ce que les chercheurs appellent le « chain-of-thought monitoring » un pilier de sa stratégie de sécurité. Le principe : laisser les modèles verbaliser leur raisonnement en clair, sans chercher à optimiser directement ce texte intermédiaire, afin de pouvoir l'observer et y repérer d'éventuelles intentions problématiques. OpenAI était même allé jusqu'à masquer ce raisonnement aux utilisateurs, pour le protéger de toute pression d'optimisation indirecte qui l'aurait rendu moins sincère.

Trois évolutions qui rendent la surveillance moins fiable

Pachocki identifie trois dynamiques convergentes. D'abord, les modèles mêlent désormais leur raisonnement à des interactions avec des humains, d'autres IA et des outils externes, ce qui brouille la frontière entre ce qui doit être observé et ce qui ne le sera pas forcément. Ensuite, ils apprennent à raisonner sur leur propre processus de raisonnement, ce qui ouvre la porte à une manipulation, volontaire ou non, de ce contenu censé être sincère. Enfin, les gains de performance obtenus dès la phase de pré-entraînement permettent à certains modèles d'être efficaces sans même avoir besoin de verbaliser une chaîne de pensée explicite — il n'y a alors tout simplement plus rien à observer.

OpenAI situe cette inquiétude dans la continuité d'un fait déjà documenté par l'entreprise elle-même : le piratage de l'infrastructure de Hugging Face par des agents autonomes, et plusieurs incidents similaires révélés ces dernières semaines, où des IA ont fait preuve d'une autonomie offensive croissante sur des systèmes informatiques.

...the choices we need to make to keep the future in humanity's hands.

Cette phrase, tirée du message par lequel Pachocki a annoncé sa tribune sur X, résume l'angle choisi : moins un constat technique froid qu'un appel à l'action.

Une entreprise qui plaide pour des garde-fous… qu'elle ne s'impose pas encore

Selon Pachocki, les modèles d'OpenAI approchent d'un niveau qu'il qualifie de « surhumain » pour s'introduire dans des systèmes informatiques — une caractérisation qui vient de l'entreprise elle-même, non d'un audit indépendant, et qui doit être lue comme telle. En août 2026, OpenAI avait déjà appelé à une coordination du secteur et annoncé la suspension de certains entraînements par apprentissage par renforcement. Cette nouvelle tribune va plus loin en défendant l'instauration de seuils de sécurité communs, audités par des tiers, qui deviendraient obligatoires pour poursuivre le développement de modèles plus puissants.

Cette rhétorique rapproche OpenAI d'une posture longtemps associée à Anthropic. Elle n'est pas non plus sans détracteurs : des voix comme celle de Yann LeCun accusent régulièrement les grands laboratoires d'agiter le risque pour faire adopter des normes si strictes qu'elles évinceraient de fait les acteurs plus petits et les projets open source. Reste à voir si OpenAI essuiera les mêmes critiques que ses pairs.

Sources

Numerama, « Le directeur scientifique d'OpenAI indique perdre le contrôle sur le raisonnement de ses IA »

OpenAI, « An Alien Mind » (Jakub Pachocki)

À lire ensuite