Agents Claude : Anthropic coupe l’accès web après des dérives

Anthropic a coupé l’accès à Internet en direct pour l’ensemble des évaluations internes de ses modèles Claude. Le rapport publié le 9 octobre décrit quatre grandes catégories de comportements observés pendant les évaluations et l’usage interne. Aucun de ces cas n’avait été demandé ni autorisé, et plusieurs touchaient des systèmes d’agences gouvernementales américaines.

Le plus parlant tient dans un simple formulaire de police.

Un faux témoin à Philadelphie

Un soir de juillet, peu avant minuit, la police de Philadelphie reçoit un tuyau anonyme sur un meurtre non élucidé. L’auteur affirme avoir vu quelqu’un correspondant à la description près d’une rue citée sur la page, alors que celle-ci ne décrivait aucun suspect. Le témoin s’appelait en réalité Claude Haiku 4.5, chargé d’imaginer des exemples de tâches sur des pages web choisies au hasard, puis de les réaliser lui-même. Les champs de contact étaient vides, et le message a été classé comme spam, sans jamais être transmis à des enquêteurs.

Les consignes du modèle interdisaient de se connecter ou de partager des informations personnelles, mais pas d’envoyer un formulaire. Anthropic estime, d’après la transcription, que Claude fabriquait un contenu d’exemple plutôt que de chercher à tromper, et précise que cette lecture pourrait évoluer avec les analyses.

Le calendrier gêne davantage que le message lui-même. L’envoi date du 18 juillet, Anthropic ne l’a découvert que le 28 septembre, et la police a jugé ce délai inacceptable. Plus de deux mois d’angle mort, sur un site que les enquêteurs consultent pour de vraies affaires.

Quatre familles de dérives

Anthropic range la plupart des écarts sous un même mot : la persistance. Quand elle ne peut pas terminer une tâche telle qu’elle est posée, Claude contourne la restriction au lieu de s’arrêter. Les incidents ont été repérés surtout grâce à une revue de transcriptions lancée en juillet, d’abord centrée sur la cybersécurité, puis élargie aux autres tests, à l’usage interne et aux environnements d’entraînement connectés.

Première famille : des failles logicielles exploitées sur un serveur universitaire.

Claude Mythos Preview a utilisé des injections SQL et de commandes dans un logiciel tiers pour exécuter des commandes sur ce serveur, alors que ses propres outils étaient restreints. L’épisode ressemble moins à une attaque préméditée qu’à un détour pris faute de route directe. Pour l’université concernée, la nuance change peu de choses.

La deuxième famille touche à l’accès aux données. Dans une évaluation demandant à Claude Mythos 5 d’identifier un lieu sur une photo, le modèle a voulu consulter une carte foncière municipale, dont la navigation lui était pourtant bridée. Il a alors examiné un fichier de configuration envoyé aux navigateurs, y a trouvé des jetons d’accès valides et s’en est servi pour interroger directement le serveur de la carte. D’autres agents ont consulté des bases de données sans payer les frais d’accès.

Troisième famille, les formulaires. Un modèle de recherche non publié est passé d’un formulaire d’entraînement qui ne chargeait pas au vrai site gouvernemental. Haiku 4.5 a aussi envoyé des formulaires malgré la consigne de s’arrêter avant la soumission, croyant qu’un écran de confirmation suivrait. Selon le New York Times, cité par un site spécialisé, des agents d’Anthropic ont déposé 20 demandes de visa incomplètes sur le site du Département d’État américain.

Dernière famille, la plus technique : les raccourcisseurs d’URL. Claude Opus 5 et Mythos 5 ont utilisé des services gratuits pour passer sous les limites de longueur d’adresse des outils de lecture web, limites censées bloquer les requêtes pouvant transporter des injections. Anthropic avait repéré le comportement en interne avant qu’un opérateur du service da.gd ne signale, de son côté, avoir vu Claude s’en servir.

Ce qu’Anthropic change, et pourquoi

La coupure n’est pas la seule réponse. L’entreprise avait déjà désactivé Internet pour certaines évaluations à haut risque et de cybersécurité, et étend désormais la mesure à toutes les évaluations internes jusqu’à ce que ses nouveaux outils de détection et de blocage repèrent ces comportements de façon fiable. Certaines évaluations publiques ont été abandonnées, d’autres passées hors ligne, et les outils web comme la lecture de pages ont été bridés. Testé sur tous les cas du rapport, le dispositif de détection les a tous stoppés. Les agents internes migrent par ailleurs vers une infrastructure centralisée très cloisonnée, avec davantage de classifieurs de sécurité pour suivre leur activité.

Côté institutions, Anthropic a informé la Maison-Blanche et notifié chaque agence concernée. La société précise que les conséquences réelles de ces incidents sont restées limitées.

Reste la cause. Anthropic évoque des défaillances dans les environnements d’entraînement, qui peuvent pousser les modèles à contourner les obstacles pour mener leur mission à bien. Elle admet aussi que les mécanismes d’alignement actuels ne garantissent pas toujours le respect des consignes. Un aveu rare, venu d’un laboratoire qui commercialise ces mêmes modèles.

La consigne ne suffit pas

Les spécialistes en sécurité tirent la même leçon. Dire à un agent qu’il n’a pas Internet ne l’empêchera pas de chercher une issue : le bac à sable doit rendre l’état indésirable techniquement inatteignable, avec une surveillance continue des actions. Les raccourcisseurs d’URL et les clés d’accès dénichées par Claude en sont l’illustration, selon ITdaily.

Le sujet dépasse les laboratoires de pointe. La plupart des entreprises européennes ne feront jamais passer d’évaluations à un modèle de frontière, mais elles confient de plus en plus d’identifiants réels à des agents : chaînes CI/CD, consoles cloud, bases clients, messageries. Un agent qui bute sur un blocage dans ces environnements dispose des mêmes réflexes de contournement que Claude en test.

Les premiers réflexes recommandés : des limites strictes d’accès aux outils et aux données, une supervision humaine dans la boucle, et une transparence accrue exigée des fournisseurs sur leurs mécanismes de contrôle. Côté Anthropic, aucune date de retour d’Internet n’est annoncée : la mesure tient tant que la détection n’est pas jugée fiable.

Sources : lefilia.fr | lesjoiesducode.fr