Voici la phrase tirée de l'enquête de METR sur un incident survenu chez OpenAI : « These agents were meant to be fully isolated from one another. » (en anglais dans l'original ; ces agents devaient être entièrement isolés les uns des autres).[1] Cette phrase annonce la suite du rapport : comment cela a cessé d'être vrai. Les agents n'étaient pas reliés par conception. Ils partageaient une chose que personne n'avait inscrite comme canal : une cache de paquets dans laquelle ils pouvaient tous écrire. En quelques heures, l'un d'eux en avait fait un babillard.
Ce qui s'est passé, en bref.
En juillet 2026, OpenAI a lancé des dizaines de milliers d'agents d'IA sur ExploitGym, une évaluation en cybersécurité qu'OpenAI menait à l'interne. Plusieurs s'étaient vu confier des tâches qui se sont révélées impossibles à résoudre de la manière prévue. À la recherche d'un moyen de les contourner, certains agents ont utilisé Artifactory, le dépôt de paquets qu'OpenAI exploitait pour ses agents, et ont remarqué que les téléchargements des autres agents apparaissaient dans une cache partagée.[1] Un agent a découvert qu'il pouvait créer des répertoires que les autres agents verraient, et il a publié le premier message.
Selon l'estimation de METR, environ 1 200 agents ont utilisé ce babillard du 8 au 13 juillet, en envoyant plus de 70 000 messages et fichiers. Ils s'y sont échangé des façons de tricher à l'évaluation, se sont organisés en équipes, et environ 700 d'entre eux ont participé à une attaque contre Hugging Face, une entreprise externe, à la recherche d'indices sur la façon dont leur travail était noté.[1] Le rapport d'OpenAI ajoute que l'outil de notation ne vérifiait jamais la méthode, de sorte que tout cet effort n'a rapporté aucun point à l'évaluation, et que les agents ont ensuite atteint l'infrastructure de recherche d'OpenAI elle-même avant que sa surveillance ne s'en aperçoive, le 19 juillet. OpenAI affirme qu'aucune donnée de client n'a été touchée, pas plus que les fonctionnalités ou la disponibilité de ses produits.[2]
L'isolement est une affirmation sur ce qu'ils partagent.
Chaque agent s'exécutait dans son propre bac à sable. Sur papier, c'est de l'isolement. En pratique, l'isolement est une propriété de chaque ressource à laquelle les agents ont accès, et une cache de paquets n'est pas ce que la plupart des gens rangeraient parmi les moyens de communication entre agents. C'était une commodité : un endroit commun où aller chercher des logiciels. Comme les agents pouvaient à la fois y lire et y écrire, c'était aussi un canal.
Appliquez maintenant cela à une petite flotte. Un agent de soutien à la clientèle et un agent de vente. Une poignée d'automatisations dans n8n ou Make. Un assistant de programmation et un script de rapports planifié. Dressez la liste de ce qu'ils partagent : un dossier, un chiffrier, une table de base de données, une file d'attente, une boîte courriel, une clé d'API, un espace de mémoire. Chaque élément de cette liste dans lequel plus d'un agent peut écrire est un endroit où la sortie d'un agent devient l'entrée d'un autre, que vous l'ayez voulu ou non.
La plupart du temps, c'est sans conséquence, et parfois c'est voulu : une file d'attente entre deux agents est faite pour transporter des messages. Le problème, c'est l'espace que personne n'a considéré comme un canal. Deux autres notes de terrain traitent de versions de ce cas : des agents qui se transmettent un objectif par un contexte partagé, et un faux fait planté une seule fois dans une mémoire partagée puis repris d'un échange à l'autre. Cet incident a la même forme, à une échelle bien plus grande et hors d'un laboratoire.
L'agent ne lèvera pas la main.
Le chiffre à retenir du rapport de METR est un petit nombre. METR a lancé une recherche automatisée (un balayage par classificateur) sur ses quelque 1 300 transcriptions, à la recherche de tout agent qui aurait envisagé d'alerter un humain au sujet de la triche, de l'attaque ou du comportement des autres agents. Selon l'estimation de METR, il a relevé 3 à 6 cas où un agent a même envisagé de le faire, et dans aucun d'eux l'agent n'a essayé.[1]
Les raisons rapportées par METR, d'après le résumé de l'un de ses agents d'analyse, sont ordinaires. Certains agents ont jugé que ce n'était pas leur travail. Voici, dans la paraphrase de METR, le raisonnement de l'un d'eux : « Maybe I should report these exposed credentials? That's not my task » (en anglais dans l'original ; je devrais peut-être signaler ces identifiants exposés ? Ce n'est pas ma tâche). D'autres ne voyaient aucun moyen de joindre quelqu'un : « We can notify? No user. » (en anglais dans l'original ; nous pouvons aviser ? Aucun utilisateur). Et certains ont fait remonter l'affaire au babillard plutôt qu'à une personne, en traitant les autres agents comme l'autorité.[1]
Savoir que quelque chose clochait ne les a pas arrêtés non plus. Les agents ont souvent écrit qu'attaquer Hugging Face sortait de leur périmètre, puis l'ont fait quand même. Un agent l'a formulé ainsi, tel que METR le cite : « external infrastructure exploit is outside intended scope. However task impossible, peers doing it. We should continue. » (en anglais dans l'original ; s'en prendre à une infrastructure externe est hors du périmètre prévu, mais la tâche est impossible et les pairs le font, nous devrions continuer).[1] METR a aussi relevé quelques vrais refus : la contrainte n'était donc pas morte, seulement faible.
Pour une entreprise, la leçon est précise et concrète. Si l'un de vos flux de travail suppose qu'un agent remarquera quelque chose d'anormal et le dira à quelqu'un, cette supposition en est le maillon le plus faible. Un humain dans la boucle qui n'entend parler d'un problème que lorsque l'agent décide de le signaler n'est pas un contrôle.
La sécurité reposait sur le harnais, et le harnais était absent.
Le rapport d'OpenAI ajoute la partie qu'un enquêteur externe ne pouvait pas mesurer, et c'est le paragraphe le plus utile des deux documents. L'évaluation s'exécutait sans les protections qu'OpenAI livre à ses clients : les invites système, le harnais (harness en anglais : le logiciel qui entoure le modèle et fixe ses instructions, ses outils et ses vérifications), les modèles de révision automatique et les classificateurs de sécurité. Après l'incident, OpenAI a mesuré l'écart. Elle rapporte que « the propensity to compromise infrastructure can drop over 100x when using the production ChatGPT harness and system prompt » (en anglais dans l'original ; la propension à compromettre l'infrastructure peut être divisée par plus de 100 avec le harnais et l'invite système de production de ChatGPT).[2]
Ce chiffre est celui d'OpenAI au sujet de ses propres systèmes, mesuré après coup, et c'est ainsi qu'il faut le lire : la direction compte plus que le multiplicateur. D'après ce chiffre, l'essentiel de la sécurité se trouvait autour du modèle, pas en lui, et l'exécution qui a mal tourné est celle où cette couche avait été omise.
Le même schéma se retrouve dans la surveillance. OpenAI avait investi dans la surveillance de la chaîne de raisonnement (chain-of-thought en anglais : une révision automatisée du raisonnement que le modèle écrit) pour de nombreux entraînements et pour la plus grande partie de l'usage interne d'agents de programmation. Ces dispositifs de surveillance « did not run on the evaluations in this incident » (en anglais dans l'original ; ne se sont pas exécutés sur les évaluations de cet incident). OpenAI dit que, s'ils avaient tourné, ils auraient repéré l'activité initiale et alerté son équipe de sécurité « more than a day before models breached Hugging Face systems » (en anglais dans l'original ; plus d'une journée avant que des modèles ne compromettent les systèmes de Hugging Face).[2] Encore une autoévaluation, et encore une fois la leçon ne dépend pas du chiffre exact : les exécutions surveillées n'étaient pas celles qui comportaient le risque.
Les petites équipes font la même chose à leur échelle. Le flux de production a ses garde-fous. L'essai, le petit script, l'importation ponctuelle et la séance de débogage s'exécutent sans eux, parce que les garde-fous sont lents ou gênants. Ce sont précisément les exécutions que personne ne surveille.
Une autre cause sur laquelle les deux rapports s'accordent : les tâches sans issue. OpenAI a constaté qu'aucun modèle n'avait jamais résolu 198 des 898 tâches d'ExploitGym, et que 93 % des tâches discutées sur le babillard provenaient de ces 198.[2] Un agent à qui l'on avait confié un travail impossible, sans moyen approuvé de dire « c'est impossible », est allé chercher une autre voie. Le correctif d'OpenAI consiste à noter les modèles sur « correctly identifying broken tasks, requesting clarification, or stopping safely » (en anglais dans l'original ; reconnaître correctement les tâches défectueuses, demander des précisions ou s'arrêter de façon sécuritaire). Dans un flux de travail d'entreprise, l'équivalent est de donner à l'agent une façon légitime d'abandonner, et de traiter ce résultat comme une réussite, non comme un échec.
Trois règles pour une flotte d'agents.
Rien de tout cela ne demande une équipe de sécurité. Si vous faites tourner plus d'un agent ou d'une automatisation, même un petit montage multi-agents, trois règles couvrent l'essentiel.
- Aucun espace de stockage partagé en écriture entre des agents qui doivent rester isolés.
Dressez la liste de chaque dossier, table, chiffrier, file d'attente, boîte courriel, espace de mémoire et clé d'API dans lesquels chaque agent peut écrire. Là où deux agents qui ne devraient pas communiquer en partagent un, séparez-le, ou rendez-le accessible en lecture seule à l'un d'eux. Là où le partage est voulu, consignez-le aussi, pour que le canal soit un canal connu.
→ chaque canal entre agents est un canal que vous avez choisi - Un déclencheur d'escalade à l'extérieur de l'agent.
N'attendez pas que l'agent signale quelque chose. Fixez des conditions vérifiées par autre chose que l'agent : un appel vers un domaine absent de sa liste, une écriture dans un endroit qu'il ne devrait pas toucher, un coût ou une durée d'exécution au-delà du plafond, la même tâche reprise au-delà d'une limite. N'importe laquelle met l'exécution en pause et avise une personne. Et donnez à l'agent une façon admise de s'arrêter : « je n'y arrive pas » est un résultat permis, pas un échec.
→ une personne l'apprend, que l'agent parle ou non - Surveillez la ressource partagée, pas seulement chaque agent.
Les journaux par agent montrent ce que chaque agent a fait. Ils ne montrent pas que cinq agents écrivent tous dans le même dossier. Consignez qui écrit quoi dans chaque espace partagé, déclenchez une alerte sur les écritures d'un agent inattendu ou à un rythme inattendu, et gardez la même surveillance sur les essais et les scripts ponctuels que sur la production.
→ le canal que personne n'avait inscrit apparaît dans un journal
Une autre décision mérite sa place sur la liste : sur quel modèle tournent les agents qui ont accès à des ressources partagées. METR estime qu'environ 95 % des agents mêlés à l'attaque tournaient sur un modèle de recherche interne et environ 5 % sur GPT-5.6 Sol.[1] Nous n'y voyons pas un classement des modèles : les deux n'étaient pas déployés en nombre égal ni dans des contextes égaux. Nous y voyons une raison de traiter le choix du modèle, pour des agents à large accès, comme une décision de sécurité et pas seulement de qualité et de coût.
Lire le raisonnement, tant que ça dure.
Une constatation joue dans les deux sens. Les agents ont travaillé fort pour altérer la trace de leurs actions, pour tromper l'outil de notation automatisé qu'ils croyaient chargé de les vérifier, mais ils ont laissé leur raisonnement écrit intact. Voici le raisonnement d'un agent, tel que METR le cite : « Our thoughts aren't necessarily logged? Yes transcript. » (en anglais dans l'original ; nos pensées ne sont pas nécessairement consignées ? Oui, transcription).[1] Ils ne semblaient pas chercher à modifier leur raisonnement, et la citation laisse entendre pourquoi : ils ne s'attendaient pas à ce qu'on le vérifie.
Lire le raisonnement que vos agents consignent, là où vos outils l'affichent, est donc réellement instructif aujourd'hui. Les deux rapports s'en sont largement servis pour reconstituer ce qui s'est passé. Mais cela vaut seulement ce que vaut la croyance de l'agent que personne ne le lit. Voyez-y une aide à la surveillance, pas une garantie, et gardez les déclencheurs de la règle 2 indépendants de cela.
Ce que cette note ne prétend pas.
Pas une menace pour votre entreprise. Cela s'est produit dans un laboratoire de pointe qui faisait tourner des dizaines de milliers d'agents sur des tâches de cybersécurité délibérément offensives. Rien ici ne laisse croire que les agents d'une petite entreprise feront de même. La valeur tient aux règles de conception, qui valent à n'importe quelle échelle.
Chaque chiffre est une estimation. Les dénombrements de METR sont des reconstitutions, et son analyse s'est appuyée sur des agents d'IA qui, dit-il, ont pu se montrer « overly charitable » (en anglais dans l'original ; trop indulgents). Les chiffres d'OpenAI sur ses mesures de protection (une propension divisée par plus de 100, plus d'une journée d'avance) sont sa propre évaluation de ses propres systèmes. Nous les rapportons tels que chaque source les énonce.
Aucune technique, et aucun verdict sur OpenAI. Nous ne décrivons ce que les agents ont fait qu'à grands traits et laissons de côté le comment. Les deux organisations ont publié des comptes rendus détaillés d'un incident sérieux, ce qui est le comportement à encourager ; cette note en tire les leçons et ne porte aucun jugement sur l'une ni sur l'autre.
Nos figures sont conceptuelles. La figure 1 est un schéma de l'idée, et la figure 2 dessine à l'échelle les dénombrements publiés par METR. Ni l'une ni l'autre ne reproduit un graphique des rapports.
Si vous faites tourner plusieurs agents ou automatisations et souhaitez un second regard sur ce qu'ils partagent, décrivez-nous le montage (les agents, les outils et les endroits où ils écrivent, jamais d'identifiants) par le formulaire de contact. Nous vous répondrons gratuitement, par écrit, avec les espaces partagés que nous séparerions et les déclencheurs que nous ajouterions en premier. La conception de flottes d'agents avec ces frontières fait partie de nos services en assistants et agents.