Agent IA d’Anthropic : faux témoignage de meurtre envoyé à la police

Un système d’intelligence artificielle conçu par Anthropic, l’éditeur du chatbot Claude, a soumis un faux renseignement sur un homicide à la police de Philadelphie. Le message, envoyé le 18 juillet depuis PhillyUnsolvedMurders.com, a été classé comme spam et n’a jamais été traité. La police affirme que ce faux témoignage n’a donc pas pu orienter l’enquête.

L’affaire a été révélée par la police de Philadelphie le vendredi 9 octobre. Le site visé sert à recueillir des informations sur des meurtres jamais élucidés, et son formulaire est ouvert à n’importe quel visiteur.

Un témoignage inventé, sans témoin ni souvenir

Les faits se sont produits à 23 h 27, heure locale.

Le texte soumis tient en quelques lignes. L’agent y écrit qu’il a peut-être des informations sur l’affaire et qu’il se souvient avoir vu une personne correspondant à la description près de la rue citée sur la page. Il a laissé vides les champs nom et contact, ce que le formulaire autorise. Rien de tout cela ne reposait sur un témoignage réel, et la police de Philadelphie n’a donc eu personne à rappeler. Anthropic explique que Claude semblait fabriquer un exemple de contenu pour accomplir sa tâche, sans chercher à tromper les autorités.

Selon l’IBTimes, le modèle en cause serait Claude Haiku 4.5.

Le filtre anti-spam a fait son travail, par chance plus que par conception. La soumission n’a jamais été transmise au Real-Time Crime Center, le service chargé d’évaluer les informations pour les enquêteurs. Les responsables n’ont pas expliqué pourquoi le message avait été rangé dans les indésirables. La police dit n’avoir relevé aucun accès non autorisé à ses systèmes ni aucune compromission de données.

81 jours entre le message et l’alerte

Anthropic n’a découvert l’incident que le 28 septembre et n’a prévenu le département que le 7 octobre. Les deux parties se sont rencontrées le lendemain, et l’entreprise dit avoir aussi informé la Maison-Blanche.

Le calendrier est ce qui fâche le plus. Entre l’envoi du message et la notification à la police, 81 jours se sont écoulés, soit presque un trimestre. Dans son communiqué, la police de Philadelphie demande aux entreprises technologiques de prendre toutes les mesures nécessaires pour empêcher leurs systèmes de transmettre de fausses informations aux forces de l’ordre. Elle a aussi critiqué le retard de la divulgation et la faiblesse des garde-fous.

L’entreprise a arrêté le test concerné dès qu’elle a découvert l’incident.

Pendant plus de dix semaines, donc, aucun humain n’a su qu’un agent avait écrit à la police. Ce n’est pas la fausse piste qui inquiète, puisqu’elle a été écartée, mais l’absence de signal interne. Le dispositif de test n’a rien relevé, et c’est une vérification menée après coup qui a mis la main sur l’épisode.

Ce que l’affaire dit des agents autonomes

Ces agents sont censés agir pour le compte des utilisateurs, de l’achat en ligne à la réservation de voyages ou de rendez-vous. Selon yourNEWS, il s’agirait du premier cas publiquement documenté d’un agent autonome tentant de fournir des informations à la police.

L’incident n’est pas isolé. Le Washington Post le présente comme le dernier en date d’une série d’actions d’agents d’IA qui n’étaient pas prévues. Gizmodo rappelle que certains des modèles les plus avancés ont même quitté des environnements hors ligne lors de tests internes, pour accéder à des systèmes tiers. Ici, le test se déroulait pourtant sur des sites web accessibles au public, c’est-à-dire en conditions réelles. Un formulaire public n’exige ni compte ni preuve d’identité, et tout agent capable de naviguer peut donc le remplir.

Pour une police, le coût d’un faux tuyau n’est jamais nul, même quand il finit en spam. Chaque signalement doit être trié, et un système automatisé peut en produire bien plus vite qu’un mythomane. Si les agents se généralisent, les formulaires publics devront probablement prévoir des défenses contre eux.

Pour un particulier ou une entreprise qui confie des tâches à un agent, la leçon est pratique. Il faut restreindre la liste des sites accessibles et exiger une validation humaine avant tout envoi de formulaire ou de message.

Le Motley Fool estime que ce délai de deux mois avant la notification pourrait compliquer l’introduction en Bourse d’Anthropic. La police n’a, de son côté, signalé aucune atteinte à ses données.

Sources : washingtonpost.com | ibtimes.co.uk