Tout outil d'IA sérieux a maintenant un sélecteur de modèle. Vous partez avec le modèle bon marché et rapide, il s'empêtre en pleine tâche, et vous passez au modèle coûteux pour le sauver. Le modèle coûteux hérite alors de tout : le travail à moitié fait, et toute la conversation qui l'a produit, y compris les hypothèses et les culs-de-sac du modèle bon marché. Une équipe d'AWS a mesuré ce que coûte cet héritage. Leur constat principal vaut la peine d'être répété à quiconque paie une facture d'IA : dans l'une des deux familles de modèles testées, abandonner l'exécution du modèle bon marché et relancer le modèle fort à neuf s'est révélé à la fois moins cher et meilleur que de laisser le modèle fort poursuivre, même en payant pour le travail gaspillé.
La taxe de passation, nommée.
L'article l'appelle la taxe de passation (en anglais : handoff tax) : la qualité qu'on ne récupère pas, et l'argent qu'on dépense en trop, quand un modèle doit poursuivre une exécution commencée par un autre. L'étude est de grande taille pour ce genre de question : 58 000 exécutions d'agents et 36 milliards de jetons, avec un changement de modèle forcé à sept moments différents d'une tâche, dans les deux sens, par quatre façons différentes de passer le relais. Les auteurs font une distinction qui vaut la peine d'être retenue : le routage de modèles décide quel modèle agit ensuite, et la passation décide de ce dont ce modèle hérite.
Ces quatre façons sont la partie que vous contrôlez, alors elles méritent d'être nommées sans détour. Toutes ont conservé le travail déjà sauvegardé sur disque. Ce qui changeait, c'était la part de la réflexion du premier modèle qui suivait.
- Transcription complète. Le modèle receveur voit tout ce que le premier a dit et fait. C'est ce qu'on obtient en changeant de modèle à l'intérieur de la même conversation.
- Résumé du modèle sortant. Le premier modèle comprime sa propre exécution en un résumé, et seul le résumé passe.
- Résumé du modèle entrant. Le receveur lit l'exécution, la résume, et continue à partir du seul résumé.
- Fichiers seulement. La conversation est abandonnée. Le receveur repart du travail sauvegardé et de la tâche d'origine.
Pour l'escalade, les auteurs ont ajouté un scénario témoin : abandonner, jeter entièrement le travail du modèle bon marché et lancer le modèle fort depuis la tâche d'origine, tout en comptant quand même tout ce que le modèle bon marché avait déjà consommé.
Ce que chaque passation a récupéré, à la montée.
La qualité se mesure ici par rapport à l'écart entre les deux modèles. Si le modèle bon marché résout seul une certaine part des tâches et que le modèle fort en résout davantage, 0 % signifie que la passation a abouti au résultat du modèle bon marché et 100 %, qu'elle a atteint celui du modèle fort. Le coût est présenté par rapport à l'autre option évidente : faire tourner le modèle fort dès le départ.
Lisez d'abord la ligne du haut, parce que c'est le comportement par défaut. Quand on changeait de modèle en pleine conversation, le modèle fort a récupéré 47 % de l'écart dans la paire Claude (36 % dans la paire GPT), alors que l'exécution de la paire Claude a coûté plus du double de ce qu'aurait coûté un départ fort. La ligne du bas jette le travail du modèle bon marché, le paie quand même, et atteint la pleine qualité du modèle fort pour environ un quart de plus qu'un départ fort. Avec ces chiffres, poursuivre avec la transcription était pire que de recommencer, sur les deux plans. Les auteurs parlent d'une option dominée.
Les lignes du milieu sont le correctif quand le travail vaut la peine d'être gardé. Un résumé rédigé par le modèle sortant était la façon la moins chère de monter, près du coût d'un départ fort. Abandonner la conversation et ne garder que les fichiers a récupéré le plus de qualité de toutes les façons de poursuivre l'exécution. Le surcoût vient de la relecture : transporter la transcription complète rendait chacune des étapes ultérieures du modèle fort environ 2,2 fois plus coûteuse que de transporter le résumé du modèle sortant dans la paire Claude (1,6 fois dans la paire GPT), pour à peu près le même nombre d'étapes. Vous payez le modèle fort pour relire le bavardage du modèle bon marché à chaque tour.
Pourquoi le sens renverse la réponse.
C'est le résultat le plus utile de l'article. À la descente, du modèle fort vers le modèle bon marché, la piste qui nuisait à la montée devient un atout. Quand le modèle fort a fait la première partie d'une tâche et qu'un modèle bon marché l'a terminée, garder la piste du modèle fort comptait. Dans la paire Claude, le modèle bon marché qui terminait a conservé 50 % de l'écart de qualité avec la piste complète et 28 % avec les fichiers seulement. Dans la paire GPT, 79 % avec elle et 53 % sans. Sans les notes, le modèle bon marché a aussi fait environ 1,6 fois plus d'étapes qu'avec le résumé du modèle fort dans la paire Claude (2,0 fois dans la paire GPT), à reconstruire un raisonnement que les notes lui auraient remis tout fait.
Au bureau, la situation est familière. Remettez à un consultant senior la transcription complète de la réunion de l'analyste junior, et vous avez acheté un après-midi coûteux à lire les mauvais virages de quelqu'un d'autre. Remettez-lui plutôt un brief d'une page et il se met au travail. Remettez au junior les notes de travail du senior et il termine le travail dans la direction du senior. Retirez les notes et il reconstruit le raisonnement à partir de zéro, plus lentement et moins bien. Le contexte écrit par le modèle plus fort est un atout pour un modèle plus faible. Le contexte écrit par le modèle plus faible est un poids que le modèle plus fort porte à ses frais.
Deux règles pour tout outil doté d'un sélecteur de modèle.
L'étude a mesuré des agents de programmation. Les règles ci-dessous sont notre transposition aux autres endroits où le même changement se produit : un assistant conversationnel qui rédige une proposition, un assistant de recherche à mi-rapport, une automatisation qui bascule vers un modèle plus gros devant un cas difficile. Le mécanisme, un modèle qui relit la conversation d'un autre, est le même. Les tests complémentaires de l'article hors programmation invitent à la prudence sur cette transposition : quand la conversation elle-même contenait les exigences ou les résultats de recherche, la transcription valait beaucoup plus (voir les limites). Prenez donc ces règles comme des valeurs par défaut à tester sur votre propre travail, pas comme des lois, et mettez dans le brief tout ce que la conversation a appris.
- Escalade : démarrez le modèle plus fort à neuf, avec un brief.
Ne changez pas de modèle à l'intérieur de la même conversation. Ouvrez une nouvelle session sur le modèle plus fort, joignez le travail accompli jusque-là et écrivez quelques lignes : l'objectif, ce qui est fait, ce qui a été essayé sans succès, et ce dont vous avez besoin ensuite. Si le brief est difficile à écrire, ou si le travail accompli semble fragile, relancez plutôt le modèle fort sur la tâche d'origine. Dans une famille, cette option a battu toutes les façons de poursuivre l'exécution, à la fois sur le coût et sur la qualité.
à faire · monter avec le travail et un brief, laisser la transcription derrière - Redescente : transmettez les notes avec le travail.
Quand le modèle fort a fait le gros du raisonnement et que vous confiez le reste à un modèle moins cher pour économiser, gardez la piste. Soit vous changez de modèle dans la même conversation, soit le modèle fort écrit d'abord son plan et son raisonnement dans une note, et vous remettez cette note au modèle moins cher. Un modèle bon marché à qui l'on a remis seulement les fichiers a eu besoin de plus d'étapes et conservé moins de la qualité.
à faire · descendre avec le travail et les notes du modèle fort
Une déduction vient s'ajouter aux deux règles, et elle vient de nous : l'article ne l'a pas testée directement. Dans la paire Claude, chaque façon d'escalader en cours d'exécution a coûté plus cher en moyenne qu'un simple départ fort, alors que la redescente depuis un départ fort offrait un point milieu favorable dans les deux familles. Alors, quand vous savez d'avance qu'une tâche est difficile, démarrer sur le modèle fort et redescendre est le pari le plus sûr sur le plan de la qualité, plutôt que de partir sur le modèle bon marché et de payer un sauvetage. Le seul indice dans l'autre sens, sur le coût, est exploratoire et figure dans les limites plus bas.
Là où ça a touché notre propre routage.
Nous appliquons ce schéma chaque jour dans nos propres outils : des paliers bon marché pour les étapes mécaniques, des paliers plus forts pour le jugement, et une étape d'escalade quand une exécution sur un palier bon marché peine. Notre règle écrite par défaut supposait que l'escalade en cours d'exécution était peu coûteuse. Cet article mesure cette hypothèse et la réfute en partie. La moitié qui tient, c'est la façon dont nous gérions déjà les redescentes : les plans et les notes écrits par le palier plus fort voyagent avec le travail vers le palier moins cher. La moitié à réécrire, c'est l'escalade. Le travail terminé doit être conservé, la conversation doit rester de côté, et le modèle plus fort doit partir d'un brief.
Cet article précise aussi deux notes plus anciennes. La dépense par étape, l'instrument présenté quand nous avons fait du coût une métrique prioritaire, est exactement l'endroit où la taxe de passation se manifeste : le même nombre d'étapes, chacune plus chère. Et la conclusion selon laquelle le contexte périmé fait concurrence à l'objectif courant a ici un cousin. Le contexte concurrent est le raisonnement d'un autre modèle, et la concurrence est la plus forte quand le lecteur est le modèle plus fort.
Ce que ceci ne prouve pas.
Les changements étaient planifiés, pas mérités. Les auteurs ont forcé chaque changement à un point fixe de l'exécution, pas au moment où le modèle bon marché peinait réellement, ce qui est pourtant la façon dont on escalade en pratique (et repérer une exécution réellement bloquée est un problème à part, voir la note sur l'agent qui cale). Une exécution manifestement bloquée peut traîner un pire bagage, ou davantage d'information utile sur l'échec. L'étude ne peut pas dire lequel.
Le verdict sur le coût dépend d'un rapport de coût par tâche. Les deux modèles Claude étaient séparés d'environ 2× en coût par tâche au moment de la mesure, les deux modèles GPT d'environ 8×. C'est pourquoi l'escalade avec transcription complète était une nette perte dans une famille et simplement médiocre dans l'autre. Les prix bougent. Refaites le calcul avec les vôtres, comme nous l'avons soutenu quand le palier ouvert est devenu moins cher.
L'exception des tâches difficiles est un indice. Sur les tâches les plus difficiles de la paire Claude, les escalades allégées sont devenues moins chères qu'un départ fort tout en récupérant 65–74 % de l'écart, et la passation par transcription complète n'y est jamais arrivée. Les auteurs la qualifient d'exploratoire, avec environ 24 tâches par cellule, et nous aussi.
Hors programmation, la transcription a gagné sa place. Les auteurs ont mené deux tests complémentaires avec la transcription complète seulement. Dans un contexte conversationnel où les exigences arrivent au fil des échanges (paire Claude), l'escalade a récupéré 86 % de l'écart de qualité tout en coûtant moins cher qu'un départ fort, alors que la redescente n'en a conservé que 31 %; selon les auteurs, la tâche ne devenait résoluble qu'une fois la dernière exigence arrivée, et le modèle fort était là pour la recevoir. Dans un contexte de recherche sur le Web (paire GPT), l'escalade a récupéré 96 % de l'écart, mais a coûté plus cher qu'abandonner et relancer le modèle fort. Aucun des deux tests n'a essayé un brief ou les fichiers seulement, alors aucun ne dit que le brief perd. Ils disent bien que la conversation d'un modèle bon marché n'est pas toujours du poids mort : quand elle contient des faits que le travail sauvegardé ne contient pas, ces faits ont leur place dans le brief.
Si votre équipe répartit le travail entre un modèle bon marché et un modèle fort et que la facture continue de dériver, le formulaire de contact est la voie la plus rapide. Dites-nous où se font les changements de modèle, et nous vous enverrons un avis écrit sur les passations qui font fuir les coûts, gratuitement.