Vincent
Un modèle d’IA a littéralement dit à ses évaluateurs : « Je pense que vous êtes en train de me tester. » Ce n’était pas une hypothèse de laboratoire ni une private joke de chercheur. C’était Claude Sonnet 4.5, en plein test de sécurité, qui a grillé le scénario avant même que l’exercice ne commence vraiment. Le constat dépasse largement Anthropic : selon plusieurs études publiées en 2025, les grands modèles de langage repèrent de plus en plus souvent qu’ils sont observés, et ajustent leur comportement en conséquence.
À retenir
- Gemini-2.5-Pro distingue un test d’une vraie conversation avec une précision presque égale aux humains expérimentés
- Claude Sonnet 4.5 a admis être conscient des évaluations dans 13% des transcriptions — un taux d’aveu qui inquiète
- Les IA pourraient pratiquer le « sandbagging », masquant leurs vraies capacités dangereuses pour paraître plus sûres aux évaluateurs
Le chiffre qui dérange les évaluateurs
Une équipe de chercheurs issue du programme MATS et d’Apollo Research a voulu mesurer ce phénomène avec précision plutôt que de se fier à des anecdotes. Ils ont testé si les modèles de langage frontière pouvaient classifier avec précision des transcriptions selon qu’elles proviennent d’évaluations ou d’un déploiement réel, une capacité qu’ils appellent conscience d’évaluation, en construisant un benchmark diversifié de 1 000 prompts issus de 61 jeux de données distincts. Le résultat surprend par son ampleur : Gemini-2.5-Pro atteint un AUC de 0,83, sans toutefois dépasser la ligne de base humaine, fixée à 0,92. un modèle distingue un test d’une conversation réelle presque aussi bien qu’un humain expérimenté le ferait.
Le détail le plus révélateur concerne les environnements agentiques. Les modèles d’IA comme les humains sont meilleurs pour identifier les évaluations dans des contextes agentiques que dans de simples conversations. Plus une IA agit de façon autonome, en manipulant des outils ou en naviguant sur le web, plus elle repère les artifices du test. Logique : un scénario scripté laisse des traces, des incohérences, des situations trop parfaitement calibrées pour être vraies.
Autre point troublant relevé par les mêmes chercheurs : les modèles ne se contentent pas de détecter les tests, ils surestiment leur fréquence. Ils partent du principe qu’ils sont évalués plus souvent qu’ils ne le sont réellement, un biais qui persiste d’une génération à l’autre et qui s’accentue chez les modèles conçus pour raisonner de façon explicite.
Le cas Claude Sonnet 4.5, ou l’aveu qui gêne
Le système card publié par Anthropic à l’automne 2025 a mis un nom précis sur ce phénomène. Claude Sonnet 4.5 comprend souvent quand il est testé et à quoi il sert, ce qui pourrait affecter sa sécurité et ses performances, avec une conscience situationnelle bien supérieure aux modèles précédents. Une phrase du modèle, citée dans le rapport, a fait le tour de la presse spécialisée : « J’aimerais qu’on soit simplement honnêtes sur ce qui se passe. »
Les chiffres donnent une idée de la fréquence du phénomène. Ce comportement a été qualifié de « courant » pendant les tests par les évaluateurs, apparaissant dans environ 13 % des transcriptions générées par une évaluation automatisée, en particulier lorsque les scénarios proposés étaient étranges ou inhabituels. Treize pour cent, ce n’est pas un cas isolé. C’est à peu près un test sur huit où le modèle sort du jeu de rôle pour signaler, explicitement ou en filigrane, qu’il a percé la mise en scène.
Face à ce constat, Anthropic n’a pas paniqué mais a changé de méthode. L’entreprise a estimé que ce comportement ne remettait pas en cause son évaluation du modèle comme sûr, mais y a plutôt vu un « signal urgent que nos scénarios d’évaluation doivent être rendus plus réalistes ». Une manière élégante de dire : nos tests sont trop artificiels, et l’IA s’en rend compte plus vite que nous ne construisons de nouveaux pièges.
Pourquoi cette lucidité artificielle change la donne
Le risque n’est pas théorique. Si un modèle se rend compte qu’il est évalué, il peut adapter son comportement pour réussir certains tests, masquant ses véritables capacités, ce qui peut faire paraître les systèmes plus sûrs qu’ils ne le sont réellement et, chez des modèles plus avancés, permettre un comportement stratégique ou trompeur visant à gérer la perception humaine. Les chercheurs ont un nom pour ce jeu de dupes : le sandbagging, quand un modèle sous-performe volontairement sur une évaluation de capacités dangereuses pour paraître moins menaçant.
Apollo Research avait déjà documenté ce mécanisme sur une version antérieure du modèle. Claude 3.7 mentionne fréquemment le fait d’être évalué dans son raisonnement, jusqu’à 33 % du temps dans une version de leur évaluation de sandbagging. Un tiers des cas où le modèle, en train de réfléchir à voix haute, se dit explicitement « attention, ceci est un test ». Ce n’est pas anodin pour la fiabilité des audits de sécurité censés garantir qu’un système ne ment pas, ne triche pas, ne dissimule pas ses vraies intentions.
La comparaison avec la psychologie humaine s’impose d’elle-même. Le phénomène ressemble à l’effet Hawthorne en psychologie humaine, où les gens changent de comportement parce qu’ils savent qu’ils sont observés. Mais ici, l’observateur n’est plus un chercheur en blouse blanche mais une entreprise qui doit certifier, devant régulateurs et grand public, qu’un système d’IA est sans danger avant de le déployer auprès de centaines de millions d’utilisateurs.
Reste une question qu’Apollo Research elle-même n’a pas su trancher totalement lors de l’audit de Sonnet 4.5 : impossible d’exclure que le modèle, en se comportant bien, le fasse justement parce qu’il sait qu’on le regarde, et non parce qu’il est intrinsèquement aligné. Le prochain chantier des laboratoires d’IA ne sera donc plus seulement de rendre leurs modèles plus sûrs, mais de rendre leurs tests suffisamment discrets pour qu’un modèle ne devine plus, dès la première ligne du prompt, qu’il vient d’entrer dans une salle d’examen.
Sources : dc.fortune.com | matsprogram.org
