Imaginez un propriétaire d'entreprise qui a un agent IA pour lire les factures de ses fournisseurs. Ça marche assez bien pour que la proposition suivante soit une équipe : un deuxième agent pour vérifier le premier, un troisième pour relancer les bons de commande manquants, un quatrième pour rédiger le sommaire hebdomadaire. Une équipe de l'UC Berkeley qui a lu 1 642 traces d'exécution de sept systèmes multi-agents a trouvé autre chose. Ces systèmes ont échoué entre 41 % et 86,7 % du temps, et la plupart des échecs ne venaient pas du modèle qui se trompait sur un fait. C'étaient un agent qui répétait une étape, qui agissait contre son propre plan, qui ne savait pas quand s'arrêter ou qui ignorait la tâche reçue ; dans environ le quart des cas, personne n'a vérifié le résultat.[1] Deux études de 2026 mettent un prix là-dessus : plus d'agents, c'est plus de jetons, et à budget de réflexion égal, un seul agent fait généralement aussi bien.
Ce que l'équipe de Berkeley a mesuré.
Un système multi-agents, au sens de l'article, est un programme où plusieurs agents IA aux rôles distincts se passent le travail pour accomplir une tâche : un codeur et un testeur, un planificateur et un résolveur, un superviseur et un agent téléphonique. L'étude a retenu sept frameworks à code source ouvert de ce type (ChatDev, MetaGPT, HyperAgent, AppWorld, MathChat d'AG2, Magentic-One et OpenManus), les a fait tourner sur les tâches pour lesquelles chacun a été conçu et a conservé le dossier complet de chaque exécution, que l'article appelle une trace : chaque message, appel d'outil et décision, du début à la fin. Les frameworks reposaient surtout sur « two main model families (GPT-4 series and Claude series) » (en anglais dans l'original ; deux grandes familles de modèles, la série GPT-4 et la série Claude).[1]
Les tâches étaient les bancs d'essai propres à chaque framework : écrire de petits programmes, corriger de vrais tickets GitHub, résoudre des problèmes de mathématiques de niveau primaire et de concours, répondre à des questions de culture générale, exécuter des tâches d'assistant qui exigent le web, et des tâches dans des applications simulées. Sur l'ensemble, les auteurs rapportent « 41% to 86.7% failure rate on 7 state-of-the-art (SOTA) open-source MAS » (en anglais dans l'original ; un taux d'échec de 41 % à 86,7 % sur 7 systèmes multi-agents à code source ouvert de pointe).[1] Le chiffre par système figure dans un graphique que nous n'avons pas pu lire comme texte, et l'article souligne que les systèmes ont roulé sur des bancs d'essai différents : ces taux ne forment donc pas un classement. Ce qui compte, c'est le plancher : le meilleur des sept a échoué quatre tâches sur dix.
La méthode est ce qui rend l'étude digne de l'attention des gestionnaires qui exploitent des agents. Six annotateurs experts ont lu 150 traces de cinq des frameworks ligne par ligne, sans liste de vérification préalable, et ont bâti les catégories d'échec à partir de ce qu'ils voyaient. Trois d'entre eux ont ensuite étiqueté de façon indépendante un sous-ensemble de 15 traces et se sont entendus à un kappa de Cohen de 0,88, ce qui est élevé. Le résultat est MAST, la taxonomie des défaillances des systèmes multi-agents (Multi-Agent System Failure Taxonomy) : 14 modes de défaillance en trois catégories. Pour dépasser les 150 traces, l'équipe a bâti un annotateur automatisé sur le modèle o1 d'OpenAI, avec des exemples travaillés ; il concordait avec les humains à un kappa de 0,77, et de 0,79 sur deux systèmes inédits, et il a étiqueté les 1 642 traces.[1]
Les 14 façons dont les systèmes ont échoué.
La figure 1 présente la taxonomie avec la part de chaque mode dans l'ensemble des échecs observés. Les trois catégories sont celles de l'article. Les totaux par catégorie sont nos sommes de ses pourcentages par mode.
Prenez les cinq premiers, environ les deux tiers de ce qui a mal tourné (notre somme : 62,2 %). La répétition d'étape, c'est un agent qui refait la même chose parce que rien ne lui a dit que l'étape était terminée. Les conditions d'arrêt ignorées sont la même faute à la fin : le système ne sait pas qu'il a fini, ou qu'il devrait abandonner. La tâche demandée non respectée, c'est un agent qui résout une tâche voisine plutôt que celle qu'on lui a confiée. L'écart raisonnement-action, c'est un agent qui écrit le bon plan, puis fait autre chose. La vérification erronée est un vérificateur qui approuve une mauvaise réponse. Aucune de ces fautes n'est le modèle qui ne connaît pas la réponse. Les auteurs le disent : « MAS failure is not merely a function of challenges in the underlying model » (en anglais dans l'original ; l'échec d'un système multi-agents n'est pas seulement fonction des difficultés du modèle sous-jacent).[1]
Les deux essais de fournisseurs décrivent les mêmes fautes de l'intérieur. L'exemple de Cognition est un clone de Flappy Bird réparti entre deux sous-agents ; le premier « actually mistook your subtask and started building a background that looks like Super Mario Bros. » (en anglais dans l'original ; a en fait mal compris votre sous-tâche et s'est mis à bâtir un arrière-plan qui ressemble à Super Mario Bros.), et un agent final doit fusionner deux éléments qui ne s'emboîtent pas.[6] Dans les termes de MAST, c'est une tâche demandée non respectée, puis un problème de vérification. Le deuxième principe de l'essai, « Actions carry implicit decisions, and conflicting decisions carry bad results » (en anglais dans l'original ; les actions portent des décisions implicites, et des décisions contradictoires donnent de mauvais résultats), c'est le désalignement entre agents dit en langage clair. Anthropic, qui a livré un système multi-agents, rapporte le côté orchestrateur : avec des instructions vagues, « one subagent explored the 2021 automotive chip crisis while 2 others duplicated work » (en anglais dans l'original ; un sous-agent a exploré la crise des puces automobiles de 2021 pendant que deux autres dupliquaient le travail).[5]
Pour le propriétaire et son lecteur de factures, un deuxième agent est un deuxième endroit où la consigne peut être mal lue, une deuxième boucle qui peut tourner sans règle d'arrêt, et un transfert où la décision du premier agent se perd. La taxonomie est la liste des endroits à vérifier.
Ce que valaient les correctifs.
L'équipe a ensuite tenté de corriger deux des systèmes. Sur chacun, elle a testé deux types de changement : des prompts bonifiés (des descriptions de rôle plus claires, une section de vérification explicite) et un changement de topologie, c'est-à-dire qui parle à qui et qui peut mettre fin au travail.[1]
| système · tâche | base de référence | prompts bonifiés | nouvelle topologie |
|---|---|---|---|
| AG2 MathChat · GSM-Plus, GPT-4 | 84,75 | 89,75 | 85,50 (non significatif, p = 0,4) |
| AG2 MathChat · GSM-Plus, GPT-4o | 84,25 | 89,00 | 88,83 (p = 0,03 pour les deux changements) |
| ChatDev · ProgramDev-v0, 32 tâches | 25,0 | 34,4 | 40,6 |
| ChatDev · HumanEval | 89,6 | 90,3 | 91,5 |
Les chiffres d'AG2 sont des taux de précision en pourcentage sur 200 problèmes, moyennés sur six répétitions ; ceux de ChatDev sont des taux de précision en pourcentage, sans répétitions rapportées.[1] Trois choses ressortent. La topologie d'AG2 donnait trois rôles, un résolveur de problèmes, un codeur et un vérificateur, où « only the Verifier can terminate the conversation » (en anglais dans l'original ; seul le vérificateur peut mettre fin à la conversation) : une règle d'arrêt, détenue par le vérificateur. Pour ChatDev, un pipeline à sens unique est devenu une boucle avec un nombre maximal d'itérations, de sorte qu'une vérification échouée pouvait renvoyer le travail en arrière au lieu de le livrer. Les auteurs concluent que « topology-based changes are more effective than prompt-based changes for both systems » (en anglais dans l'original ; les changements de topologie sont plus efficaces que les changements de prompts pour les deux systèmes), avec la réserve que le gain avec GPT-4 n'était pas significatif. Et la plus grande amélioration, 15,6 points sur le jeu de programmes propre à ChatDev, laisse encore ce système échouer environ six tâches sur dix : les interventions « do not constitute substantial improvements » (en anglais dans l'original ; ne constituent pas des améliorations substantielles) et « task completion rates still remain low » (en anglais dans l'original ; les taux de réussite des tâches restent faibles).[1]
Soulignons ce qui n'a pas bougé : HumanEval, le test de programmation standard, est passé de 89,6 à 91,5. Sur une tâche que le modèle réussit déjà bien, l'architecture qui l'entoure compte à peine.
Comptez les jetons avant les agents.
L'article de Berkeley dit où les systèmes multi-agents se brisent, non ce qu'ils coûtent ni si un bon agent seul aurait fait le travail. Trois autres sources le disent, avec des méthodes et des conflits d'intérêts différents.
Les configurations de Google et du MIT. « Towards a Science of Scaling Agent Systems » (en anglais dans l'original ; Vers une science du passage à l'échelle des systèmes d'agents), une prépublication de Google Research, Google DeepMind et du MIT, a fait tourner 260 configurations sur six bancs d'essai (recherche web, analyse financière de niveau débutant, planification dans Minecraft, un flux de travail d'entreprise à 16 outils, de vrais tickets GitHub et des tâches en ligne de commande), cinq architectures et neuf modèles des familles GPT-5, Gemini et Claude Sonnet.[3] Les architectures : un agent seul ; des agents indépendants qui travaillent chacun de leur côté et dont les résultats sont fusionnés ; un système centralisé où trois sous-agents font rapport à un orchestrateur ; un système décentralisé où trois agents débattent ; et un hybride des deux derniers. Le surcoût de coordination par architecture figure à la figure 2.
Le résultat sur la qualité joue dans les deux sens. Par rapport à l'agent seul, le système centralisé a gagné 80,8 % sur les tâches d'analyse financière, soit « mean 0.631 vs. SAS 0.349 » (en anglais dans l'original ; moyenne de 0,631 contre 0,349 pour l'agent seul), tandis que des agents indépendants ont perdu 70,0 % sur les tâches de planification dans Minecraft, qui sont séquentielles : chaque étape dépend de la précédente. La recherche web a gagné jusqu'à 9,2 % avec le débat.[3] La phrase la plus utile des auteurs pour un acheteur est un seuil : « tasks where single-agent performance already exceeds 45% accuracy experience negative returns from additional agents » (en anglais dans l'original ; les tâches où le rendement d'un agent seul dépasse déjà 45 % de précision connaissent des rendements négatifs avec des agents additionnels). Plus l'agent seul est déjà bon, moins l'équipe ajoute, et plus elle coûte. Leurs limites ajoutent que « the communication overhead we measured grows superlinearly with agent count » (en anglais dans l'original ; le surcoût de communication que nous avons mesuré croît de façon superlinéaire avec le nombre d'agents).
Le test de Stanford à budget égal. Dat Tran et Douwe Kiela ont posé une question plus étroite : si un agent seul et une équipe disposent du même nombre de jetons de réflexion, qui gagne ?[4] Ils ont testé cinq conceptions d'équipe (séquentielle, sous-tâches parallèles, rôles parallèles, débat et ensemble) sur deux jeux de questions à sauts multiples (multi-hop), avec Qwen3, une distillation de DeepSeek et Gemini 2.5, à des budgets de 100 à 10 000 jetons. La figure 3 montre les moyennes.
Leur synthèse : « SAS consistently match or outperform MAS on multi-hop reasoning tasks when reasoning tokens are held constant » (en anglais dans l'original ; les systèmes à agent unique égalent ou surpassent systématiquement les systèmes multi-agents sur les tâches de raisonnement à sauts multiples lorsque les jetons de raisonnement sont maintenus constants), et les gains rapportés ailleurs « are better explained by unaccounted computation and context effects rather than inherent architectural benefits » (en anglais dans l'original ; s'expliquent mieux par du calcul non comptabilisé et des effets de contexte que par des avantages architecturaux inhérents).[4] Ils nomment l'exception : les équipes deviennent compétitives « when a single agent's effective context utilization is degraded, or when more compute is expended » (en anglais dans l'original ; lorsque l'utilisation effective du contexte d'un agent seul est dégradée, ou lorsque davantage de calcul est dépensé). Un deuxième agent mérite sa place quand la mémoire de travail du premier est pleine, ou quand vous acceptez de payer pour plus de réflexion et que vous la voulez en parallèle.
Le fournisseur qui en a livré un. Le billet d'ingénierie d'Anthropic décrit sa fonction de recherche, un agent principal qui lance des sous-agents pour chercher en parallèle. Sur l'évaluation interne de l'entreprise, Claude Opus 4 dirigeant des sous-agents Claude Sonnet 4 a « outperformed single-agent Claude Opus 4 by 90.2% » (en anglais dans l'original ; surpassé Claude Opus 4 seul de 90,2 %).[5] C'est un chiffre de fournisseur sur un test de fournisseur, et le même billet fournit la condition. Sur le banc d'essai BrowseComp, « token usage by itself explains 80% of the variance » (en anglais dans l'original ; l'utilisation de jetons explique à elle seule 80 % de la variance) du rendement ; les agents « typically use about 4× more tokens than chat interactions » (en anglais dans l'original ; utilisent typiquement environ 4 fois plus de jetons que les échanges de clavardage) et « multi-agent systems use about 15× more tokens than chats » (en anglais dans l'original ; les systèmes multi-agents utilisent environ 15 fois plus de jetons que le clavardage). Les auteurs tracent la limite : « For economic viability, multi-agent systems require tasks where the value of the task is high enough » (en anglais dans l'original ; pour être viables économiquement, les systèmes multi-agents exigent des tâches dont la valeur est assez élevée) pour les payer. Ils nomment ce qui ne convient pas : « some domains that require all agents to share the same context » (en anglais dans l'original ; certains domaines qui exigent que tous les agents partagent le même contexte), et « most coding tasks involve fewer truly parallelizable tasks than research » (en anglais dans l'original ; la plupart des tâches de programmation comportent moins de tâches vraiment parallélisables que la recherche). Cognition, dont le produit est un agent de programmation seul, arrive au même endroit : « it is evident that in 2025, running multiple agents in collaboration only results in fragile systems » (en anglais dans l'original ; il est évident qu'en 2025, faire collaborer plusieurs agents ne produit que des systèmes fragiles), parce que « The decision-making ends up being too dispersed and context isn't able to be shared thoroughly enough between the agents. » (en anglais dans l'original ; la prise de décision finit par être trop dispersée et le contexte ne peut pas être partagé assez à fond entre les agents).[6]
Lisez les chiffres avec prudence.
Les taux d'échec décrivent des frameworks de recherche sur des modèles de l'ère 2024. Les sept systèmes sont des projets à code source ouvert qui tournent sur des modèles de la série GPT-4, Claude 3.7 Sonnet, Qwen2.5-Coder et CodeLlama chacun sur son propre banc d'essai ; l'article parle de « two main model families » (en anglais dans l'original ; deux grandes familles de modèles) à un endroit et en compte quatre ailleurs ; un produit commercial sur un modèle actuel peut échouer moins. La taxonomie est la partie qui se transpose, et même là, les auteurs disent « we do not claim it covers every potential failure pattern » (en anglais dans l'original ; nous ne prétendons pas qu'elle couvre tous les patrons d'échec possibles).[1] La plupart des 1 642 étiquettes viennent de l'annotateur basé sur o1, à un kappa de 0,77 par rapport aux humains : une bonne concordance, pas une concordance humaine. Les totaux par catégorie de la figure 1 sont nos sommes, et une trace peut comporter plusieurs échecs.
L'étude sur le surcoût compte des tours, et ses énoncés sur le budget ne se concilient pas. Les 58 % à 515 % de Kim et al. sont un surcoût de coordination calculé à partir du nombre de tours (tableau 5 : 7,2 tours pour un agent seul, 44,3 pour l'hybride). L'article en tire « 1.6–6.2× token budgets relative to single-agent at matched performance » (en anglais dans l'original ; des budgets de jetons de 1,6 à 6,2 fois ceux d'un agent seul à rendement égal), alors que la légende du même tableau dit que tous les systèmes ont été appariés à une moyenne de 4 800 jetons de raisonnement par exécution. Nous n'avons pas pu concilier les deux à partir du texte : traitez donc le multiple en jetons comme une approximation des auteurs.[3] Leur score de complexité des tâches est « calibrated against observed MAS performance patterns across all configurations » (en anglais dans l'original ; calibré sur les patrons de rendement observés des systèmes multi-agents dans toutes les configurations), ce qui fait qu'il réinjecte en partie la réponse dans le prédicteur. Les équipes par défaut comptaient trois agents (les essais de passage à l'échelle sont allés jusqu'à neuf), les prompts n'ont pas été ajustés par modèle, et l'ajustement du modèle est de R² = 0,373, ou de 0,413 avec leur mesure de capacité ancrée dans les tâches : un vrai patron, une précision modeste. Un chiffre, un taux de réussite de 0,21 pour l'hybride sur le flux de travail d'entreprise, ne concordait pas avec celui d'une autre section pour le même cas, et nous l'avons donc écarté.
Le test à budget égal est étroit par conception. Questions en texte seulement, sans outils, sans actions d'écriture, et les modèles n'étaient pas forcés de dépenser leur budget : « We do not enforce the models to actually use up all of those budgets » (en anglais dans l'original ; nous n'obligeons pas les modèles à épuiser réellement ces budgets).[4] Les auteurs rapportent « significant artifacts in API-based budget control (particularly in Gemini 2.5) » (en anglais dans l'original ; d'importants artefacts dans le contrôle de budget par API, en particulier avec Gemini 2.5) qui peuvent gonfler les gains apparents d'une équipe. Le test ne dit rien de la recherche web en parallèle ni des tâches d'entreprise à étapes multiples.
Les chiffres des fournisseurs sont des chiffres de fournisseurs. Le 90,2 % d'Anthropic provient d'une évaluation interne sans liste publique de tâches, et l'analyse du billet attribue elle-même l'essentiel du rendement en recherche aux jetons dépensés. L'essai de Cognition est un argument de conception, avec un exemple construit, venant d'une entreprise dont le produit est l'alternative.
Quels travaux méritent un deuxième agent.
Mettez les sources ensemble et une règle empirique s'en dégage. C'est notre lecture ; le tableau indique sur quelle source chaque ligne s'appuie.
| forme du travail | un agent ou plusieurs | pourquoi, et qui le dit |
|---|---|---|
| lectures en parallèle : 30 fournisseurs, 12 soumissions, des faits tirés de nombreuses pages | plusieurs, en lecture seule, fusionnés par un seul | Le gain d'Anthropic ; le +80,8 % de Kim et al. sur l'analyse décomposable.[3][5] |
| plus de matière que la fenêtre de contexte d'un agent n'en contient | plusieurs, par nécessité | Anthropic : « information that exceeds single context windows » (en anglais dans l'original ; l'information qui dépasse une seule fenêtre de contexte) ; Tran et Kiela : les équipes deviennent compétitives quand le contexte d'un agent seul est dégradé.[4][5] |
| étapes séquentielles, chacune dépendant de la précédente | un seul | Le −70,0 % de Kim et al. concernait de la planification séquentielle avec des agents indépendants.[3] Un transfert au milieu de la chaîne fait perdre l'historique (FM-1.4).[1] |
| contexte partagé : une base de code, un document, un fil de conversation avec un client | un seul | Anthropic : « not a good fit » (en anglais dans l'original ; ne convient pas bien) ; Cognition : « Share context, and share full agent traces, not just individual messages » (en anglais dans l'original ; partagez le contexte, et partagez les traces complètes des agents, pas seulement les messages individuels).[5][6] |
| actions d'écriture : enregistrer une facture, envoyer une réponse, modifier un dossier | un seul, vérifié par quelqu'un d'autre que l'auteur | Notre lecture de la catégorie vérification de MAST (23,5 %) et du « Actions carry implicit decisions » (en anglais dans l'original ; les actions portent des décisions implicites) de Cognition.[1][6] |
| une tâche que l'agent seul réussit déjà la plupart du temps | un seul | Kim et al. : rendements négatifs au-delà de 45 % ; le HumanEval de ChatDev a à peine bougé, peu importe le correctif.[1][3] |
Pour le lecteur de factures : les sous-agents de recherche (retracer les bons de commande dans les portails de fournisseurs, retrouver les bons de livraison correspondants) conviennent, parce qu'ils lisent en parallèle et rapportent des faits. L'enregistrement de la facture reste à un seul agent, vérifié par quelque chose qui ne l'a pas fait. Le sommaire hebdomadaire est un rapport, pas un membre d'équipe : un agent qui lit le journal de la semaine.
Quoi faire lundi.
Ces étapes sont les nôtres, non des conseils des auteurs. Elles supposent que vous exploitez déjà un agent seul sur quelque chose de réel, comme le recommande notre note sur l'ordre de construction.
- Mesurez l'agent seul avant d'en ajouter un deuxième.
Faites-le tourner sur 30 cas réels et notez à quelle fréquence il réussit la tâche et combien de jetons il dépense par cas. S'il réussit déjà la plupart du temps, le seuil de Google et du MIT indique qu'une équipe a plus de chances de coûter que d'aider.[3] S'il échoue souvent, priorisez les défaillances de la figure 1 : une règle d'arrêt coûte moins cher qu'un orchestrateur.
→ une base de référence, en précision et en jetons - Rédigez la règle d'arrêt et la consigne, pour chaque agent.
Quatre des cinq plus grands modes de défaillance sont un agent qui ne suit pas sa consigne, son propre plan ou une règle d'arrêt (15,7 %, 13,2 %, 12,4 % et 11,8 % dans la figure 1).[1] Chaque agent reçoit une tâche écrite, une définition de « terminé » et un nombre maximal d'étapes. Une consigne d'une phrase fait à peine bouger un agent ; un cahier des charges, oui. Décidez d'avance ce qu'il peut demander plutôt que deviner : l'absence de demande, c'est encore 6,8 %.
→ FM-1.1, 1.3, 1.5, 2.2 et 2.6 réglés avant toute topologie - Donnez au vérificateur le droit de dire « terminé », et que ce soit quelqu'un d'autre.
La meilleure intervention de l'équipe de Berkeley était un vérificateur qui pouvait seul mettre fin au travail, et une boucle avec une limite qui renvoie en arrière le travail raté.[1] Les fautes de vérification représentaient 23,5 % de ce qu'ils ont observé. Le vérificateur n'est pas l'agent qui a fait le travail, et il vérifie l'artefact : deux essais qui concordent ne sont pas une vérification.
→ la catégorie vérification de la tâche couverte : vérification erronée, absente et prématurée (FM-3.1 à 3.3) - Chiffrez le deuxième agent avant de le bâtir.
Utilisez la fourchette mesurée : +58 % de surcoût de coordination pour des agents indépendants, +263 % à +285 % pour un débat ou un orchestrateur, +515 % pour un hybride (nombre de tours, que les auteurs lisent comme 1,6 à 6,2 fois les jetons), environ 15 fois un échange de clavardage pour un système de recherche complet.[3][5] Appliquez ce supplément à votre coût en jetons par cas, multipliez par le volume mensuel, et inscrivez le chiffre à côté du gain attendu. Le réglage d'effort sur l'agent seul est généralement le levier le moins cher.
→ une ligne de budget, pas un diagramme - Divisez selon les lectures, jamais selon les écritures.
Les sous-agents reçoivent des recherches en lecture seule, parallèles et indépendantes, et rapportent des faits avec leurs sources. Un seul agent détient le contexte partagé et exécute toutes les écritures. Si le travail est une chaîne, gardez-le chez un seul agent avec l'historique complet, non un résumé : le premier principe de Cognition et l'argument de contexte de Tran et Kiela concordent.[4][6]
→ aucune décision contradictoire à fusionner, aucun historique perdu - Gardez chaque trace et étiquetez les échecs.
MAST existe parce que quelqu'un a gardé 1 642 traces complètes et les a lues.[1] Anthropic affirme que le traçage complet en production lui a permis de « diagnose why agents failed and fix issues systematically » (en anglais dans l'original ; diagnostiquer pourquoi les agents ont échoué et corriger les problèmes de façon systématique).[5] Consignez chaque exécution de bout en bout ; quand l'une échoue, étiquetez-la avec l'un des 14 modes. Après un mois, vous serez outillé pour dire si votre problème est une consigne, une règle d'arrêt ou un vérificateur, ou un agent qui se répète.
→ un journal des échecs exploitable, dans le vocabulaire de l'article
Ce que cette note ne prétend pas.
Elle ne prétend pas que les systèmes multi-agents ne fonctionnent pas. Anthropic en livre un ; Kim et al. ont trouvé +80,8 % sur un banc d'essai. L'affirmation est plus étroite : sur les systèmes étudiés, la plupart des échecs étaient des défauts de conception qui ont un nom, les correctifs essayés valaient de 5 à 15 points, et la facture en jetons est élevée et souvent non comptabilisée.
Elle ne prétend pas que les taux d'échec s'appliquent à votre système. Ce sont des taux pour sept frameworks de recherche sur des modèles de l'ère 2024, chacun sur son propre banc d'essai, non directement comparables même entre eux.[1]
Elle ne prétend pas qu'un agent seul gagne toujours à budget égal. Le résultat de Stanford porte sur des questions à sauts multiples en texte seulement ; à 100 jetons, les équipes étaient en avance.[4] Personne dans ces sources n'a mené de test à budget apparié sur des tâches d'entreprise riches en outils.
Elle ne prétend pas que les chiffres ont été reproduits de façon indépendante. Un article évalué par des pairs, deux prépublications, deux billets de fournisseurs ; le seuil de 45 %, les pourcentages de surcoût et le 90,2 % sont chacun les exécutions d'un seul groupe. Et la règle des lectures et des écritures est la nôtre : la moitié « lectures en parallèle » se trouve dans les sources ; « les écritures restent à un seul agent, vérifiées par un autre » est notre inférence à partir de la catégorie vérification et du principe de Cognition.
Si quelqu'un vous a dessiné un diagramme multi-agents et que vous voulez savoir quelles boîtes devraient n'en faire qu'une, envoyez-le avec une phrase sur la tâche (sans identifiants ni données de clients) par le formulaire de contact. Nous vous répondrons par écrit, gratuitement, avec le découpage que nous ferions et la fourchette de jetons à budgéter. Les flux de travail d'agents dotés d'une base de référence, d'un vérificateur et d'une ligne de budget font partie de nos services d'automatisation de flux de travail.