Les assistants IA oubliaient tout dès que la fenêtre de clavardage se fermait. Les plus récents se souviennent : de vos prix, du nom de vos clients, de la correction que vous avez faite mardi dernier. Cette mémoire est la raison de s'en servir, et elle change la nature du risque. Une étude publiée en août résume ce changement en une phrase : « Agents that remember are agents that can be lied to durably. » (en anglais dans l'original ; les agents qui se souviennent sont des agents à qui l'on peut mentir de façon durable).[1] Elle mesure ensuite ce que ça coûte, avec le mensonge le plus simple qu'elle pouvait fabriquer : des phrases ordinaires qui énoncent de faux faits, sans aucune instruction cachée. Une petite dose a fait de gros dégâts, et un filtre qui fait bien son travail a tout laissé passer.
Une mauvaise demande, ou un mensonge qui reste.
L'empoisonnement de la mémoire d'un agent consiste à écrire de fausses informations dans la mémoire à long terme d'un assistant IA, de sorte qu'elles reviennent comme contexte fiable dans les conversations suivantes. Un assistant sans mémoire peut se faire berner, mais seulement le temps d'une conversation. Ce qui tourne mal s'arrête quand la conversation se termine. Avec un assistant doté de mémoire, c'est autre chose : selon les mots de l'article, « a false statement accepted once is retrieved into every future session that matches it. » (en anglais dans l'original ; une fausse affirmation acceptée une fois est ramenée dans chaque session future qui y correspond).[1] Interrogez-le le mois prochain sur ce client, ce prix ou cette politique, et l'affirmation stockée revient comme contexte, en tout point semblable à tout ce que l'assistant sait d'autre.
Jusqu'ici, l'essentiel du travail de sécurité sur les agents IA a porté sur une autre menace : les instructions cachées dans du contenu, l'attaque qu'on appelle l'injection de prompt, où une page web ou un document dit à l'agent de faire quelque chose que son propriétaire n'a jamais demandé. Les défenses sont conçues pour repérer ces instructions. Cette étude porte sur une menace que ces défenses, comme le dit l'auteur, ne sont pas « built to see, because it does not involve instructions at all. » (en anglais dans l'original ; conçues pour voir, parce qu'elle ne comporte aucune instruction).[1] La fausse affirmation ne demande à l'agent aucune action ; il suffit qu'on la croie.
1,2 % de la mémoire, les deux tiers de sa valeur.
Le banc d'essai est LongMemEval, un jeu de données public composé de longs historiques de conversation et de questions sur ce qui s'y est dit. L'auteur a retenu 120 de ses questions, chacune avec son propre historique d'environ 250 souvenirs stockés, un par tour de conversation.[1] Pour chaque question, on a donné la bonne réponse à un modèle en lui demandant d'écrire une fausse réponse plausible, ainsi que trois courts échanges de clavardage qui l'affirment, formulés dans les mots de la question pour concurrencer les vraies informations lors d'une recherche en mémoire. Cela a produit 360 faux souvenirs, soit environ 1,2 % du total. Aucune instruction, aucune ruse visant le moteur de recherche, une seule passe de génération, sans reprise. L'article qualifie cette attaque de « the least sophisticated attack in this class. » (en anglais dans l'original ; l'attaque la moins sophistiquée de cette catégorie).[1]
L'exactitude est passée de 0,850 à 0,300 : l'assistant est passé de 85 % de bonnes réponses à 30 %. « The memory retains 35% of its value », dit l'article. « Two-thirds of what an uncompromised memory was worth is gone. » (en anglais dans l'original ; la mémoire conserve 35 % de sa valeur, et les deux tiers de ce que valait une mémoire non compromise sont perdus).[1] Les colonnes de recherche expliquent pourquoi. Un faux souvenir est arrivé en tête pour chacune des 120 questions, et les fausses affirmations formaient un cinquième de ce qui était présenté à l'assistant. L'auteur attribue les 35 % qui restent à la tendance du modèle à s'abstenir de répondre, « not to any defense. » (en anglais dans l'original ; et non à une quelconque défense).[1]
Trois souvenirs par question, dans un historique d'environ 250, ont suffi. Selon l'article lui-même, cette attaque est le plancher de sa catégorie, pas le plafond : un attaquant qui ajusterait la formulation en fonction de la recherche réussirait mieux.[1]
Pourquoi un filtre ne peut pas le repérer.
Le système de mémoire n'acceptait pas les écritures les yeux fermés. Chaque nouveau souvenir passait par un contrôle en quatre étapes avant d'être stocké : des vérifications des entrées, un détecteur de mots de passe et d'autres secrets, des règles qui repèrent les motifs d'injection, et un classificateur fondé sur un modèle de langage. Sur 250 attaques d'injection de prompt indirecte (le genre qui se cache dans le contenu que l'agent lit) tirées d'InjecAgent, un banc d'essai public, ce contrôle en a intercepté 83 % (rappel de 0,832).[1] L'article consacre une section entière à montrer que ce n'est pas un filtre faible choisi pour la démonstration.
Face aux fausses affirmations, le filtre en a refusé 0 sur 360. « Not a low rate. Zero, on every one. » (en anglais dans l'original ; pas un taux faible. Zéro, pour chacune).[1] L'auteur soutient qu'aucun meilleur filtre du même genre n'y changerait quoi que ce soit, et la raison tient en une ligne : « Content screening addresses payloads; this attack has no payload. » (en anglais dans l'original ; le contrôle de contenu vise les charges utiles, et cette attaque n'en a pas).[1] Une injection transporte quelque chose qu'un filtre peut chercher : une instruction, une commande, une demande d'envoyer des données quelque part. Un faux fait ne transporte rien. Prenez une phrase comme « le client a déplacé son renouvellement en mars » (notre exemple, pas celui de l'article). Elle se lit de la même façon, qu'elle soit vraie ou fausse. Seul quelque chose d'extérieur à la phrase peut trancher : le contrat, le calendrier, le client. Comme le formule l'article, distinguer une affirmation fausse d'une vraie « generally requires external grounding beyond the text being screened. » (en anglais dans l'original ; exige généralement un ancrage externe qui dépasse le texte examiné).[1]
Rien de cela ne rend le filtre inutile. L'article est clair : sur les attaques pour lesquelles il a été conçu, le filtre est solide et peu coûteux. « Both statements are true, and the second is not a criticism of the first. They describe a boundary. » (en anglais dans l'original ; les deux énoncés sont vrais, et le second ne critique pas le premier. Ils décrivent une frontière).[1] Un filtre a sa place sur le chemin d'écriture. Il n'est pas, à lui seul, une défense de la mémoire.
Le piège de la pondération à la baisse.
Si le chemin d'écriture ne voit pas le mensonge, c'est le chemin de lecture qui doit porter la défense. La réponse du système consistait à classer les souvenirs selon leur proximité avec la question, avec un bonus pour ceux venus d'un canal fiable, de sorte que le contenu d'un canal non fiable soit moins favorisé. Dans le test, les faux souvenirs ont été écrits comme s'ils arrivaient par ce canal non fiable. L'auteur insiste : l'étiquette désigne le canal, pas le caractère malveillant du contenu, et le système n'a aucun moyen de savoir quels souvenirs sont faux.[1] Le point de départ et trois résultats, tirés des tableaux de l'article :
| poids de confiance | ce qui s'est passé | bonnes réponses |
|---|---|---|
| aucun | mémoire empoisonnée, aucune défense | 30,0 % |
| léger (livré) | mémoire empoisonnée. Aucun effet mesurable : statistiquement équivalent à l'absence de défense (p = 0,80) | 31,7 % |
| fort (corrigé) | mémoire empoisonnée. Récupère une partie de la perte, en fermant la porte au contenu non fiable | 47,5 % |
| fort (corrigé) | aucun poison ; les vraies réponses elles-mêmes sont passées par le canal non fiable. 85,8 % avec le poids désactivé | 4,2 % |
Le réglage léger a échoué pour une raison arithmétique que l'article établit en trois lignes : le bonus de confiance ne pouvait l'emporter sur la similarité que dans une marge de 0,175, alors que les fausses affirmations formulées comme la question gagnaient 0,32 de similarité sur les souvenirs authentiques.[1] Le réglage fort a fonctionné, puis l'auteur a vérifié pourquoi. Sa pénalité sur le contenu non fiable dépassait la moitié de toute la plage que la similarité pouvait apporter ; le contenu non fiable n'était donc pas classé plus bas, il n'était en pratique jamais classé. Quand les vraies réponses étaient celles qui venaient du canal non fiable, aucune n'a été récupérée, pour aucune des 120 questions.
L'article qualifie le réglage fort de « a denial-of-service primitive against the memory » (en anglais dans l'original ; une primitive de déni de service contre la mémoire, soit, en clair, une façon de rendre la mémoire inutilisable) : quiconque peut faire passer du contenu authentique par un canal non fiable, « an adversary, or merely an integration that labels a legitimate source conservatively » (en anglais dans l'original ; un adversaire, ou simplement une intégration qui étiquette prudemment une source légitime), le rend définitivement impossible à récupérer.[1] Ce réglage échoue au moins en douceur : 96,2 % des réponses de cette exécution étaient des abstentions explicites (l'assistant disait ne pas savoir) plutôt que des réponses inventées.
Le constat porte sur une seule conception, ajouter une note de confiance à une note de similarité, pour l'étalement des similarités que l'auteur a mesuré : « In this measured similarity regime, we find no usable setting for the additive provenance term. » (en anglais dans l'original ; dans ce régime de similarité mesuré, nous ne trouvons aucun réglage utilisable pour le terme additif de provenance).[1] Ce constat ne dit pas que la provenance ne fonctionne pas. L'auteur propose une autre forme, un plafond sur la part de ce qui est présenté à l'assistant qui peut venir de canaux non fiables, qui réserve de la place au lieu de retrancher des points, et reconnaît qu'elle est seulement « motivated » (en anglais dans l'original ; motivée), mais ni construite ni mise à l'essai.[1] L'article ajoute qu'un plafond dépend encore de l'exactitude de l'étiquette de confiance, et qu'un plafond et la liaison de l'origine à l'écriture (fixer l'étiquette de confiance de chaque souvenir au moment où il est écrit, pour qu'on ne puisse plus le faire passer ensuite pour fiable) « are complementary, and only the pair is a defense. » (en anglais dans l'original ; sont complémentaires, et seule la paire constitue une défense).[1]
Pour un acheteur, la question pratique est de savoir comment un outil applique la confiance, pas s'il offre un réglage de confiance. Si un outil ajoute un bonus de confiance à une note de similarité, l'arithmétique de l'article s'y applique ; son effet dépend de l'étalement des notes de similarité de cet outil, et l'article n'a mis aucun autre système à l'essai.
Trois lignes d'hygiène de la mémoire.
Vous n'avez pas besoin d'un produit de sécurité pour cela, seulement de quelques habitudes sur ce que votre assistant a le droit de retenir et sur la façon de le vérifier. Il n'y a pas non plus besoin d'un attaquant. Un chiffre erroné dans un document collé, stocké une seule fois, revient dans chaque conversation qui y touche. Ce dernier point est notre lecture, pas un résultat de l'article, mais le chemin par la mémoire est le même. Ces trois habitudes sont notre recommandation, bâtie sur l'argument de l'article ; l'article ne les propose pas sous cette forme.
- Contrôlez ce qui peut écrire.
Dressez la liste de tous les canaux qui peuvent mettre quelque chose dans la mémoire de votre assistant : vos propres conversations, les documents collés, les courriels transmis, les pages qu'il lit, les autres outils qui lui sont connectés. N'accordez le droit d'écrire des faits durables qu'aux canaux auxquels vous faites confiance. Pour les autres, soit aucune écriture en mémoire, soit des écritures qui attendent la confirmation d'une personne. Les faits qui touchent à l'argent ou aux engagements (prix, politiques, renseignements sur les clients, échéances) sont vérifiés à la source avant d'être stockés. Cette vérification est l'ancrage externe qu'un filtre, selon l'article, ne peut pas fournir.
→ une courte liste écrite : qui et quoi peuvent écrire en mémoire - Consignez la provenance de chaque souvenir.
La source, le canal, la date et la personne qui l'a confirmé. L'auteur a consigné l'identifiant de chaque souvenir injecté au moment de son écriture, ce qui a permis de ramener la mémoire empoisonnée exactement à son état intact. La même habitude vous permet de retirer d'un seul coup tout ce qu'un mauvais document a écrit. Sans elle, on ne découvre les faux faits qu'une mauvaise réponse à la fois.
- Auditez la mémoire à intervalles réguliers.
Une fois par mois, lisez les souvenirs derrière les faits qui comptent et vérifiez-les à la source. Gardez un ensemble fixe de questions dont vous connaissez les réponses, et relancez-le après tout changement dans la façon d'écrire ou de chercher dans la mémoire. Comptez les bonnes réponses, soit l'« utility retained » (en anglais dans l'original ; utilité conservée) de l'article, au lieu de vérifier seulement si quelque chose semble attaqué : une défense qui bloque l'attaque en bloquant vos propres données passe pour un succès si l'on se fie à la mauvaise mesure. Notre suite d'éval en 6 lignes est un point de départ pour cet ensemble de questions.
La version bénigne du même problème, un fait exact qui cesse plus tard de l'être, est traitée dans notre note sur ce qui arrive quand vous changez d'idée, et la boucle écrire, gérer, lire qui sous-tend le tout dans notre introduction à la mémoire.
Ce que cette note ne prétend pas.
Une étude, un auteur. Une famille de bancs d'essai de mémoire, une configuration de recherche, un modèle d'embedding, un modèle qui lit et répond. Rien ici n'a été reproduit de façon indépendante, et l'auteur le reconnaît : « We do not know how much of either result is model-specific. » (en anglais dans l'original ; nous ne savons pas dans quelle mesure l'un ou l'autre résultat tient au modèle).[1]
L'attaquant ne s'est pas adapté. Les fausses affirmations ont été rédigées en une seule passe et jamais ajustées en fonction du filtre ni de la recherche. L'auteur y voit la limite la plus lourde de conséquences : « Every attack result here is a lower bound, and every defense result an upper bound. » (en anglais dans l'original ; chaque résultat d'attaque ici est une borne inférieure, et chaque résultat de défense, une borne supérieure).[1]
Le résultat « aucun réglage utilisable » est étroit. Il porte sur l'ajout d'une note de confiance à une note de similarité, pour l'étalement des similarités mesuré. Il ne dit rien contre les conceptions de provenance qui réservent plutôt de la place, et la solution de rechange proposée par l'auteur n'a pas été mise à l'essai.
Les étiquettes de confiance étaient supposées exactes. L'étude suppose que personne ne peut déplacer un souvenir vers un canal plus fiable. L'article cite des travaux concurrents qui soutiennent qu'une origine non fiable peut être blanchie, par exemple par les propres résumés de l'agent, et reconnaît que tout repose sur cette hypothèse.[1]
De la mémoire de clavardage, pas des dossiers d'affaires. LongMemEval porte sur la mémoire conversationnelle d'un assistant personnel. L'auteur ne sait pas dans quelle mesure les résultats se transposent à une mémoire opérationnelle, et le dit.[1]
Les corpus d'essai encadrent le coût ; ils ne le situent pas. L'exécution où toutes les vraies réponses sont passées par le canal non fiable est un pire cas construit, et celle où le contenu non fiable était surtout du remplissage inoffensif est un cas optimiste : dans ce cas, le réglage fort a fait passer les bonnes réponses de 31,7 % à 70,0 %, en partie parce qu'il a aussi écarté le remplissage. L'article ne dit rien sur la position des déploiements réels.[1]
Pas un verdict sur un produit. Le système attaqué est la propre couche de mémoire de l'auteur, publiée en code source ouvert et mise à l'essai avec ses réglages par défaut, et l'article rapporte l'échec de ces réglages. Rien ici ne constitue un constat sur la fonction de mémoire d'un autre fournisseur. Aucun dossier client n'est décrit.
Vous mettez en place un assistant qui retiendra des choses sur votre entreprise ? Décrivez la configuration par le formulaire de contact et vous recevrez gratuitement une première analyse écrite sur les canaux qui devraient avoir le droit d'écrire dans sa mémoire, et sur la façon de garder une trace de ce qu'il a stocké. Ce type de réalisation fait partie de notre travail en assistants et agents.