Un agent IA qui répond à un client déjà connu repart habituellement de zéro. Il va chercher l'historique des commandes, les billets de soutien passés, les notes, et il lit le tout pour établir qui est ce client : ce qu'il commande à répétition, ce qui l'agace, ce qu'il demande d'habitude. Puis il répond, et il oublie. Au prochain courriel du même client, l'agent paie de nouveau la même lecture. Un rapport technique de juillet 2026 de l'équipe derrière le fil de recommandations de Taobao indique que cette étape de relecture représentait à elle seule environ 95 % du calcul d'une des étapes de son pipeline, et décrit le correctif qu'elle a mis en production. Taobao est l'une des plus grandes plateformes de magasinage en ligne au monde. Le principe derrière ce correctif est assez simple pour qu'une équipe de cinq personnes le reprenne.
Le résultat, en clair.
Si votre agent lit le même historique sur le même client à chaque exécution, compilez cet historique une fois dans une petite fiche structurée, conservez des pointeurs qui relient chaque ligne de la fiche aux événements d'où elle vient, et mettez la fiche à jour à partir des nouveaux événements au lieu de tout relire. Taobao rapporte que cela a ramené son calcul de modélisation des utilisateurs (le calcul consacré à établir qui est chaque utilisateur) à 44,20 % de ce que coûtait la relecture : 33,43 % pour les lectures, plus 10,77 % pour garder les fiches à jour. Entre deux mises à jour, la fiche est en retard sur la réalité, et Taobao a choisi de recompiler tous les deux mois. Cet intervalle est une décision à prendre délibérément.
Le rapport couvre trois changements apportés au système de recommandation, livrés ensemble. Celui dont traite cette note se transpose directement à une équipe des opérations : une couche de mémoire que les auteurs appellent le Memory Hub. Un autre, la compression du raisonnement du modèle, vous le croiserez chez vos fournisseurs plutôt que de le bâtir vous-même ; il a donc droit à une courte section. Une conclusion distincte, sur le fine-tuning (l'affinage) d'un modèle à partir de données d'un domaine, est le dernier élément à retenir. Le reste (des codes sémantiques d'articles, une récompense tirée du modèle de classement en production) relève de la mécanique de recommandation, et nous le laissons de côté.
Votre agent redécouvre le même client.
Dans la version précédente du système de Taobao, un modèle de planification lisait tout l'historique de comportement de chaque utilisateur à chaque requête, avant de décider quoi afficher. Pour les utilisateurs les plus actifs, cet historique atteignait environ 55 000 jetons. Le rapport dit que ce planificateur « alone accounts for ~95% of the computational cost in agentic intent analysis » et que chaque passe « redundantly rediscovers patterns such as repurchase cycles, brand loyalty, and seasonal shifts that could instead persist and update across sessions. » (en anglais dans l'original), c'est-à-dire que ce planificateur représente à lui seul environ 95 % du coût de calcul de l'analyse d'intention agentique, et que chaque passe redécouvre de façon redondante des constantes comme les cycles de rachat, la fidélité à une marque et les variations saisonnières, qui pourraient plutôt persister et se mettre à jour d'une session à l'autre.[1]
Imaginez maintenant un distributeur québécois de fournitures industrielles dont l'agent rédige des réponses aux courriels des clients. Avant chaque brouillon, l'agent lit les deux ans de commandes et de billets du client. À chaque exécution, il conclut de nouveau que ce client commande des gants toutes les cinq ou six semaines, se fâche quand la livraison du jeudi prend du retard, et veut toujours que la comptabilité reçoive une copie de la facture. Ces conclusions étaient vraies hier. Elles le seront demain. L'agent paie pour les atteindre chaque fois, et la facture grossit avec l'historique : les meilleurs clients sont donc ceux qui coûtent le plus cher à servir.
C'est un problème d'agent sans état. Il n'a aucun souvenir de ce qu'il a déjà compris, et il reconstitue donc cette compréhension à partir de la matière brute à chaque exécution. Notre note sur la mémoire des agents expliquait pourquoi la mémoire est devenue une discipline d'ingénierie à part entière. Ce rapport ajoute à la question un coût de production, et il montre ce que le correctif coûte à exploiter. Notre propre base de connaissances suit le même principe (compiler une fois, garder la source) ; notre mesure de cette base en couvre le volet recherche, sur un petit échantillon de notre propre corpus.
La phrase du rapport à retenir est celle-ci : la couche de mémoire « converts a recurring per-inference expense into an amortized memory maintenance cost. » (en anglais dans l'original), c'est-à-dire qu'elle transforme une dépense récurrente à chaque inférence en un coût d'entretien de la mémoire, amorti sur les requêtes.[1] Vous cessez de payer à chaque requête pour comprendre le client. Vous payez de temps à autre pour garder cette compréhension à jour, et chaque requête entre-temps lit le résultat.
Compilez-le une fois, gardez les pointeurs.
La fiche de Taobao a quatre propriétés, et chacune est un choix de conception que vous pouvez reprendre.
Condensée en champs fixes. L'historique de chaque utilisateur devient une courte liste d'unités de mémoire. Chaque unité comporte une étiquette de motif tirée d'une liste fixe de centaines de types de comportement (allongée seulement quand rien ne convient), un résumé en langage clair, les marques préférées, la période où le motif était actif, et un horodatage.[1] Les champs sont fixés d'avance. Les notes libres dérivent, tandis que les champs fixes se vérifient.
Traçable jusqu'à la source. Chaque unité conserve des pointeurs vers les événements qui l'ont produite. Le rapport a vérifié les deux moitiés à la main : les pointeurs étaient corrects dans 95,27 % des cas sur 21 268 annotations, et les étiquettes de motif dans 82,89 % des cas sur 2 514.[1] Les pointeurs étaient donc plus souvent exacts que les étiquettes. Une étiquette ou un résumé peut être faux alors que sa preuve est juste, et le pointeur est le moyen de revenir à la preuve quand c'est important. Le rapport ne donne aucun accord inter-annotateurs pour ces vérifications. Les pointeurs servent aussi de défense quand une fausseté se glisse dans la fiche : notre note sur l'empoisonnement de la mémoire explique pourquoi un mensonge mémorisé ne laisse rien à repérer pour un filtre.
Mise à jour sélective. Quand de nouveaux événements arrivent, une unité n'est réécrite que si ces événements la concernent. Sinon, on n'y touche pas, ce que le rapport appelle « updating with evidence and retaining without disturbance. » (en anglais dans l'original), c'est-à-dire mettre à jour quand il y a des preuves et conserver sans rien perturber. Les événements qui ne correspondent à aucune unité forment une nouvelle unité. Un seul appel au modèle fait les deux.[1]
Réécrite, pas rallongée. C'est le point que ratent la plupart des systèmes de mémoire maison. Chaque mise à jour « re-synthesizes the affected unit into a coherent snapshot of the user's current state rather than appending new behaviors to the old summary, preventing stale and emerging preferences from accumulating within one unit. » (en anglais dans l'original), c'est-à-dire qu'elle refait la synthèse de l'unité touchée en un instantané cohérent de l'état actuel de l'utilisateur, plutôt que d'ajouter de nouveaux comportements à l'ancien résumé, ce qui empêche des préférences périmées et des préférences émergentes de s'accumuler dans une même unité.[1] Un résumé qui ne fait que grossir finit par contenir le client d'il y a deux ans et celui d'aujourd'hui dans le même paragraphe, et l'agent ne peut pas savoir lequel est le client actuel. Une autre étude que nous avons présentée, sur l'IA qui devient moins bonne quand l'objectif change, a mesuré l'échec voisin le plus proche : les modèles se dégradent dès que l'objectif bouge, et le fait de reformuler l'objectif actuel ne rattrape qu'une partie de la perte.
Voici ce que cela donne pour le distributeur, une fois appliquée une semaine de nouveaux événements.
fiche client C-1187 · compilée le 2026-08-01 · à partir de 214 événements
unité 1 motif réapprovisionnement planifié
résumé Se réapprovisionne en gants de nitrile et en lingettes
pour surfaces toutes les 5–6 semaines. Toujours les deux
mêmes produits, toujours par courriel.
sources commandes 4471, 4502, 4538, 4590
unité 2 motif sensible aux livraisons
résumé A fait remonter le problème à deux reprises quand une
livraison du jeudi a pris du retard. Les deux fois, un
appel a tout réglé, pas un crédit.
sources billets 912, 1040
unité 3 motif facturation
résumé Veut la comptabilité en copie de chaque facture.
sources billets 877, 1102 | unité | nouveaux événements cette semaine | opération | fiche après la mise à jour |
|---|---|---|---|
| 1 · réapprovisionnement planifié | commande 4631, quatre semaines après la précédente | mise à jour | Unité réécrite : « Se réapprovisionne toutes les 4 semaines depuis juillet, contre 5–6 auparavant. » La commande 4631 est ajoutée aux sources. |
| 2 · sensible aux livraisons | aucun pertinent | conservation | Inchangée. Pas touchée, pas résumée de nouveau. |
| 3 · facturation | aucun pertinent | conservation | Inchangée. |
| 4 · nouvelle | commande 4640, première commande de lunettes de sécurité | création | Nouvelle unité : « A commencé à acheter de la protection oculaire en août. » Source : commande 4640. |
Le prix à payer, c'est une fenêtre de péremption.
Une fiche compilée est fausse entre le moment où quelque chose change et la mise à jour suivante. Taobao le dit sans détour : « In production, incremental curation runs every two months. » (en anglais dans l'original), c'est-à-dire qu'en production, l'entretien incrémental des fiches s'exécute tous les deux mois.[1] Pour un fil qui sert des centaines de millions de personnes par jour, une fiche vieille d'au plus deux mois, lue avec les événements récents, valait l'économie. Les lectures sont beaucoup plus nombreuses que les mises à jour, si bien que chaque mise à jour se répartit sur un très grand nombre de requêtes.
Votre intervalle sera différent, et il devrait être choisi, pas hérité du réglage fait par la personne qui a configuré la tâche planifiée. Trois choses le déterminent. À quelle vitesse change ce que vous résumez ? Les habitudes de commande évoluent sur des mois ; une plainte ouverte évolue d'heure en heure. Combien de lectures chaque mise à jour alimente-t-elle ? Si l'agent ne lit une fiche que deux fois entre deux mises à jour, la mise à jour fait l'essentiel du coût et l'économie est mince. Que coûte une lecture périmée ? Un brouillon qui rate un nouveau rythme de commande est un petit raté. Un brouillon qui rate une plainte ouverte ce matin, c'est celui dont le client se souviendra.
Le rapport fait déjà ce qui réduit le plus la fenêtre : le modèle lit la mémoire compilée avec les événements survenus depuis la dernière mise à jour, et non la mémoire seule.[1] Reprenez cette façon de faire. La fiche couvre les deux ans ; les nouveaux événements couvrent cette semaine. Vous gardez l'essentiel de l'économie, et l'écart de péremption se limite à ce que la fiche dit des événements qui n'y sont pas encore intégrés. Nous allons un pas plus loin, et ce pas vient de nous, pas du rapport : gardez les faits qui changent vite, comme un billet ouvert, complètement hors de la fiche, et lisez-les en direct.
- À quelle vitesse ça change ? Les habitudes et les préférences vont dans la fiche. Les problèmes ouverts, les soldes et tout ce qui change d'heure en heure se lisent en direct.
- Combien de lectures par mise à jour ? Comptez-les. Une fiche lue deux fois entre deux mises à jour ne se rentabilise pas ; une fiche lue cinquante fois, oui.
- Que coûte une lecture périmée ? Chiffrez le pire raté de la fenêtre. Si c'est un client perdu, raccourcissez l'intervalle ou lisez les événements récents en direct.
Moins de jetons ne veut pas dire plus vite.
Un autre changement du rapport vise l'étape du raisonnement. Le modèle de Taobao rédigeait auparavant une longue chaîne de raisonnement avant chaque réponse. L'équipe l'a entraîné à comprimer ce raisonnement en dix jetons spéciaux au plus, qui, selon le rapport, peuvent être décodés en texte lisible quand quelqu'un veut les inspecter.[1] Vous ne bâtirez pas cela. Vous le croiserez toutefois, parce que les fournisseurs vont dans le même sens, et la mesure du rapport montre pourquoi un nombre de jetons n'est pas une promesse de vitesse.
Pour un acheteur, la leçon est ciblée. Quand un fournisseur affirme qu'un nouveau mode utilise vingt fois moins de jetons, demandez ce qu'il advient du temps d'exécution et de la facture, mesurés sur votre propre tâche. Une forte baisse de jetons peut se traduire par une baisse de temps beaucoup plus faible, parce que le coût restant se trouve là où le compte de jetons ne le montre pas. Il en va de même de la qualité : dans le rapport, la compression seule a maintenu la qualité à peu près au même niveau plutôt que de l'améliorer, et il a fallu une étape d'entraînement ultérieure pour dépasser la version écrite.[1] Notre note sur l'effort de raisonnement comme levier de coût explique comment chiffrer ce réglage sur du travail réel.
Une dernière mise en garde. Le rapport dit que les jetons compressés « can be decoded back into a faithful, human-readable rationale whenever needed. » (en anglais dans l'original), c'est-à-dire qu'ils peuvent être décodés en une justification fidèle et lisible par un humain au besoin. Il ne mesure pas cette fidélité sur des données réservées.[1] Une explication décodée qui se lit bien ne prouve pas qu'elle est le raisonnement que le modèle a vraiment utilisé. Si un fournisseur offre des « explications sur demande », demandez comment il les a vérifiées.
Entraîné sur le seul domaine, leur modèle s'est effondré.
L'autre conclusion à retenir est un intrant pour la décision de bâtir ou d'acheter. Pour spécialiser son modèle, l'équipe de Taobao a poursuivi son entraînement sur des données de magasinage, mélangées à environ 10 % de texte général (mathématiques, code, sciences, médecine, suivi de consignes). Puis elle a refait le même entraînement sans le texte général, toutes choses égales par ailleurs.[1] Le modèle n'est pas devenu un peu moins bon aux tâches générales. Il a cessé de fonctionner. Il s'agissait d'un pré-entraînement prolongé sur des données d'articles, avec 65 536 nouveaux jetons d'articles ajoutés au vocabulaire, dans une seule exécution rapportée. C'est un contexte plus exigeant que la plupart des offres « entraîné sur vos données » : voyez-y un échec à tester, pas une prédiction.
Sans le mélange général, le modèle a obtenu 0,12 % à MMLU, 0,01 % à CMMLU, 4,70 % à GSM8K et 23,29 % à IFEval. Avec le mélange, les pertes allaient de 1,66 % à 5,92 %. Le verdict du rapport : « General-domain data is therefore essential. » (en anglais dans l'original), c'est-à-dire que les données de portée générale sont donc essentielles.[1] L'étape d'ajustement aux instructions va dans le même sens, même si elle n'a pas été testée de la même façon : l'équipe y a gardé environ 20 % de données générales, une proportion qu'elle dit avoir calibrée pour préserver « producing well-formed JSON outputs and complying with complex multi-constraint prompts. » (en anglais dans l'original), c'est-à-dire la production de sorties JSON bien formées et le respect de consignes complexes à contraintes multiples.[1] L'équipe qui a bâti le modèle a traité la sortie structurée comme la capacité à protéger, et c'est de la sortie structurée que dépend toute automatisation en aval du modèle.
Pour une équipe des opérations, cela se joue dans une conversation de vente. Quelqu'un vous offrira un modèle « entraîné sur vos données ». Demandez quelles données générales ont été mélangées à cet entraînement, et en quelle proportion. Puis testez-le sur vos propres consignes qui exigent du JSON et plusieurs contraintes à la fois, avant de le brancher à quoi que ce soit. Dans la plupart des cas en opérations, un modèle général qui lit une fiche compilée bien tenue devrait obtenir la spécialisation sans le risque. C'est notre lecture, pas celle du rapport, et rien dans le rapport ne la teste.
À faire cette semaine.
- Repérez le travail refait.
Consignez pendant une semaine ce que votre agent lit à chaque exécution. Si l'essentiel de l'entrée est le même historique sur le même client, exécution après exécution, c'est le coût dont traite cette note. Notre note sur le coût par étape explique comment le consigner.
cible : la part de l'entrée de chaque exécution qui se répète d'une exécution à l'autre - Fixez les champs de la fiche avant d'écrire une ligne.
Une étiquette de motif tirée d'une courte liste que vous contrôlez, un résumé en langage clair, les sources d'où il vient, et la date de la dernière mise à jour.
- Gardez les pointeurs.
Chaque ligne de la fiche renvoie aux commandes, aux billets ou aux messages qui la fondent. Quand une réponse dépend du détail (un remboursement, un litige), l'agent suit le pointeur et lit la source.
- Mettez à jour en réécrivant, pas en ajoutant.
Les nouveaux événements ne touchent que les unités qui les concernent. Une unité touchée est réécrite comme le portrait du client aujourd'hui. Les événements sans correspondance forment une nouvelle unité. Tout le reste est laissé tel quel.
- Choisissez la fenêtre, puis resserrez-la.
Fixez l'intervalle de mise à jour selon la vitesse à laquelle les choses changent et le nombre de lectures que chaque mise à jour alimente. Faites lire à l'agent la fiche plus tout ce qui est plus récent qu'elle, et gardez les problèmes ouverts complètement hors de la fiche.
cible : un intervalle écrit noir sur blanc, avec la raison à côté - Testez la sortie JSON de tout modèle « entraîné sur vos données » avant tout.
Demandez quelles données générales ont été mélangées. Soumettez-lui vos propres consignes à contraintes multiples et à sortie JSON avant qu'il touche à un flux de travail.
Ce que cette note ne prétend pas.
Autodéclaré, non reproduit. Tous les chiffres d'efficacité du rapport viennent de l'équipe qui a bâti le système et qui l'exploite. Aucun code, aucun poids de modèle, aucun répertoire de codes ni aucune donnée d'évaluation n'ont été publiés, et personne à l'extérieur n'a reproduit les résultats. Les pourcentages des essais en ligne ne sont accompagnés d'aucun intervalle de confiance, et la signification statistique est affirmée pour le partage du trafic sans statistique de test. Nous traitons l'architecture telle qu'elle est décrite et les chiffres comme des affirmations de Taobao.
La couche de mémoire n'est mesurée que sur le calcul. Le rapport donne aussi des résultats d'affaires issus de ses essais en ligne. Ils découlent de trois changements livrés ensemble, et aucune expérience n'isole la part de la couche de mémoire. Nous ne présentons donc aucun résultat d'affaires comme le rendement de la compilation de la mémoire. Ce que le rapport mesure pour la couche de mémoire, c'est le calcul.
Un chiffre est incohérent. Le rapport donne deux chiffres différents pour la réduction de l'historique par la couche de mémoire (80 % dans une section, 94,5 % dans une autre) et ne les concilie jamais. Nous ne nous appuyons sur aucun des deux.
Leur échelle n'est pas la vôtre. Un fil qui sert des centaines de millions de personnes par jour lit chaque fiche un nombre énorme de fois entre deux mises à jour, ce qui rend viables un intervalle de deux mois et un coût d'entretien de 10,77 %. Une équipe dont l'agent lit chaque client quelques fois par semaine verra une répartition différente, et devrait compter ses propres lectures avant d'espérer l'économie.
Exemple illustratif. Le distributeur, le client C-1187, les commandes, les billets et la mise à jour hebdomadaire sont les nôtres, bâtis pour montrer les trois opérations. Ce n'est ni une mesure ni la fiche d'un de nos clients.
Si votre agent lit le même historique à chaque exécution et que la facture grossit avec vos meilleurs clients, envoyez-nous un échantillon de l'entrée d'une exécution par le formulaire de contact. Déterminer ce qui doit aller dans une fiche compilée, et ce qui doit rester en direct, c'est la première étape de notre travail en assistants et agents.