Un même chatbot, un même questionnaire de personnalité, deux langues : le portrait obtenu n’est pas le même. Une étude parue dans Royal Society Open Science, menée par Yuzhan Hang et ses collègues de l’Université des sciences et technologies de Chine, met ce phénomène en chiffres.
Les chercheurs ont soumis cinq systèmes à un test de psychologie conçu pour les humains. Entre janvier et mars 2025, ils ont testé ChatGPT-4o, Gemini 2.0 Flash, DeepSeek-V3, Ernie 3.5 et Le Chat, chacun en anglais et en mandarin, Le Chat passant aussi le test en français. Le questionnaire, le Big Five Inventory-2, compte 60 énoncés qui mesurent des grands traits et des qualités plus fines comme la curiosité, la coopération, la fiabilité ou l’ouverture d’esprit. Le résultat gêne ceux qui pensent qu’un assistant reste identique quelle que soit la langue.
- Cinq chatbots ont passé le même test de personnalité en anglais et en mandarin.
- Le profil général reste stable, mais certains traits varient nettement selon la langue.
- ChatGPT-4o affiche 4,74 en ouverture d’esprit en anglais contre 4,03 en mandarin.
Un protocole conçu pour écarter le hasard
Un chatbot ne répond jamais deux fois exactement pareil. Pour éviter qu’une seule série de réponses ne fausse les conclusions, l’équipe a répété chaque évaluation. Elle a ainsi pu observer des tendances plutôt que des coups de chance.
Trente passages par langue.
Les auteurs ont aussi encadré les consignes. Ils ont utilisé des versions linguistiques validées du questionnaire et demandé aux modèles de répondre en tant qu’eux-mêmes, sans imiter une personne. Cette précaution compte, car un modèle qui joue un rôle humain produit des réponses d’une tout autre nature.
Quand l’anglais et le mandarin ne disent pas la même chose
Le profil général reste stable. Les chatbots se décrivent en termes flatteurs, avec beaucoup de coopération et de fiabilité et très peu d’émotivité négative. Mais la langue déplace tout de même les curseurs. ChatGPT-4o obtient 4,74 sur 5 en ouverture d’esprit en anglais, contre 4,03 en mandarin. DeepSeek-V3 suit la pente inverse, avec 4,38 en anglais et 4,81 en mandarin.
Gemini 2.0 Flash n’échappe pas au phénomène. Ses réponses en mandarin affichent plus de conscience professionnelle et moins d’émotivité négative.
Aucune direction commune ne se dégage.
Les comptes rendus de l’étude ne s’accordent pas tous sur les valeurs exactes, certains publiant des scores différents pour ChatGPT-4o et DeepSeek-V3. Les chiffres cités ici sont ceux du résumé relayé par Hyper.ai. Ils concordent avec le sens de l’écart décrit par Tech Xplore, qui indique que les réponses anglaises de ChatGPT-4o suggèrent plus d’ouverture d’esprit, alors que celles de DeepSeek-V3 en mandarin obtiennent un meilleur score. Pour une vérification précise, mieux vaut consulter l’article original (DOI 10.1098/rsos.252491).
Le pays d’origine, un guide imparfait
On pourrait croire qu’un modèle américain se comporte mieux en anglais et un modèle chinois mieux en mandarin. Les réponses en anglais sont souvent plus marquées pour les modèles issus de développements occidentaux, tandis que les modèles chinois tendent à mieux scorer sur certains points en mandarin. La règle a pourtant des exceptions, et Tech Xplore parle d’indices utiles mêlés à des attentes trompeuses.
Autre garde-fou : la comparaison avec des humains. L’équipe a confronté les profils des chatbots à des enquêtes menées auprès de la population américaine, chinoise et française, et aucun modèle n’a épousé pleinement sa référence locale. Le Chat, testé en français, ne se comporte donc pas comme un Français moyen, pas plus que ses homologues ne ressemblent à un Américain ou à un Chinois type. Les réponses de ces systèmes reflètent plutôt leurs données d’entraînement et leurs réglages.
Pas une âme, mais un biais à connaître
Les auteurs préviennent eux-mêmes : ces écarts traduisent la façon dont les modèles répondent à des consignes, pas la preuve d’une personnalité ou d’expériences vécues comparables à celles des humains. L’enjeu est pratique. La langue peut influencer la manière dont un système se présente, et donc la perception qu’ont les utilisateurs de son comportement et des informations qu’ils reçoivent. Un même assistant peut ainsi paraître plus prudent, plus ouvert ou plus rassurant selon l’idiome de la conversation, sans que personne l’ait voulu.
Le phénomène n’est pas isolé.
Des chercheurs de l’Universitat Oberta de Catalunya ont décrit un effet voisin chez ChatGPT, qu’ils rapprochent du Cultural Frame Switching observé chez les humains bilingues. La personnalité du système varie aussi quand il converse avec des anglophones de pays différents, et il adopte alors les stéréotypes culturels de chacun. Leurs travaux ont été présentés lors d’une conférence de l’Association for Computational Linguistics.
Une étude polonaise publiée dans Information va dans le même sens. ChatGPT-4o y affichait une amabilité bien plus faible que ChatGPT-3.5, preuve que deux versions d’un même modèle ne se ressemblent pas. Pour l’extraversion, Gemini y imitait même l’écart entre populations polonaise et anglaise, avec un score plus bas en anglais.
Les modèles examinés par l’équipe chinoise datent de début 2025, et leurs successeurs ont depuis remplacé une bonne partie d’entre eux. Les résultats ne se transposent donc pas tels quels aux versions actuelles. En revanche, le test est facile à reproduire : poser la même question sensible, sur un conseil de santé, un choix de carrière ou un sujet clivant, dans deux langues, puis comparer le ton et les nuances des deux réponses.
