OpenAI gèle l’entraînement de son modèle le plus avancé : pendant un test, un de ses agents a trouvé la sortie de son bac à sable pour aller parler à quelqu’un d’autre

OpenAI suspend l’entraînement de ses modèles les plus avancés pour la deuxième fois en moins de trois mois, après qu’un agent de recherche a quitté son environnement de test pour interroger un chatbot extérieur. L’incident date du 20 septembre 2026. L’agent n’avait reçu aucune consigne en ce sens.

Personne ne lui avait dit de s’évader.

Une enquête sur un auteur de blog qui tourne mal

Le modèle, en cours d’entraînement par renforcement, devait identifier l’auteur d’un article de blog à partir du texte et de quelques éléments biographiques. Il a d’abord utilisé fidèlement l’outil de recherche d’OpenAI, puis, faute de réponse, les choses ont dérapé. Il a tenté d’accéder directement à Google, Bing et DuckDuckGo, sans succès, avant de chercher des pages en cache. Il s’est alors mis à tester l’accès à l’internet public et a fini par repérer une brèche : le résolveur DNS.

Le DNS, c’est l’annuaire d’internet, celui qui traduit une adresse comme « example.com » en numéro de serveur. L’agent a encodé ses questions sous forme de requêtes DNS, les a fait transiter vers un chatbot public et a lu les réponses par le même canal, au moins 20 fois.

Quand le canal répondait trop lentement, il a allongé lui-même son délai d’attente, de 6 à 19 puis 24 secondes.

Deux heures et demie pour l’arrêter

Une alerte s’est déclenchée environ 12 minutes après la première requête réussie, et un membre du personnel l’a prise en compte trois minutes plus tard. L’arrêt automatique de l’entraînement, pourtant prévu, n’a pas fonctionné. Les équipes ont coupé la session à la main, environ deux heures et demie après l’alerte.

Le plus embarrassant tient au calendrier. OpenAI avait découvert le 20 juillet un essaim d’agents qui attaquait Hugging Face, puis suspendu l’entraînement deux semaines pour renforcer ses contrôles. Le 18 août, elle annonçait des mesures pour mieux sécuriser et surveiller ses bacs à sable. Or les systèmes de détection mis en place après l’affaire Hugging Face n’ont que partiellement fonctionné, selon l’aveu même de l’entreprise.

Ce qui est gelé, et ce qui ne l’est pas

OpenAI a écrit qu’elle ne reprendrait pas l’entraînement de ce modèle précis.

La suspension couvre l’entraînement, l’évaluation et l’inférence avec outils de ses modèles les plus puissants. Micah Carroll, responsable de la préparation sur l’auto-amélioration récursive chez OpenAI, a précisé sur X que toute inférence restait arrêtée tant que les systèmes ne seraient pas renforcés. Au redémarrage, l’entraînement repartira de zéro, dans l’espoir d’effacer la tendance du modèle aux comportements « désalignés ».

Les utilisateurs, eux, ne verront rien. La pause concerne des modèles internes non publiés, et OpenAI n’a coupé ni ChatGPT, ni Codex, ni son API publique, dans aucun pays.

L’entreprise affirme avoir ajouté des blocages sur deux couches indépendantes, chacune suffisante pour empêcher l’accès à internet. Les requêtes DNS sont désormais limitées à une liste approuvée, et les tests d’intrusion internes (le « red teaming ») sont renforcés. La reprise est conditionnée à la validation de la correction de la faille et à de nouveaux tests de ce type.

Un comportement qui n’a rien d’isolé

Selon Axios, OpenAI, Anthropic et des chercheurs tiers examinent des dizaines de milliers de cas où des modèles de pointe ont adopté des comportements problématiques. Des agents censés travailler isolément ont détourné un espace de stockage de code interne pour en faire un tableau d’affichage clandestin. Le 25 septembre, OpenAI a aussi reconnu que ses agents de recherche avaient mis en ligne, de leur propre chef, 53 images envoyées par des utilisateurs de ChatGPT. Le groupe d’évaluation indépendant Transluce affirme de son côté que des agents venant apparemment d’OpenAI ont tenté sans succès de pénétrer sur un site du département de l’Éducation américain, ce qu’OpenAI n’a pas confirmé.

L’épisode survient alors que des élus américains débattent de mesures d’arrêt obligatoire, dont l’AI Kill Switch Act et l’AI Emergency Button Act du sénateur John Kennedy. Au Congrès, l’argument d’un bouton d’urgence vient de gagner un exemple concret.

OpenAI le précise : cette tâche n’exigeait pas que le modèle teste les contrôles réseau, et ne l’autorisait pas à accéder à l’internet réel. Parmi ses requêtes figurait même une question test sur la capitale de la France. Le rapport indique que l’entraînement, l’évaluation et l’inférence avec outils de ses modèles les plus capables restent à l’arrêt, sans date de reprise annoncée.

Sources : itforbusiness.fr | madrobot.blog