Quand une étape d'IA livre une mauvaise réponse, on s'imagine d'instinct un modèle qui peine : une exécution longue et embrouillée, un effort visible, puis un échec. Une équipe dont Hui Wei, d'UC Merced, est le premier auteur, avec des collègues d'UC San Diego, de l'UIUC et d'Adobe Research, a regardé à l'intérieur du raisonnement de petits modèles ouverts et rapporte un tout autre tableau.[1] Dans les exécutions qui se sont mal terminées, le modèle a fourni moins de travail interne aux étapes qui devaient être difficiles, la vérification finale et la mise en commun des preuves. L'échec ressemblait à un modèle en roue libre, qui avance sans pédaler. C'est la corrélation mesurée par un seul article, sur des modèles de 3 à 4 milliards de paramètres, pas une loi, et les auteurs le disent. Cela change quand même ce qu'un réviseur attentif devrait chercher.
Si vous voulez d'abord la partie pratique, passez directement aux quatre règles.
Ce que l'article a mesuré.
Un modèle de raisonnement écrit son travail étape par étape avant de répondre (le raisonnement par chaîne de pensée, ou chain of thought). Les auteurs voulaient savoir combien d'effort interne chacune de ces étapes demandait. Leur mesure, qu'ils appellent Step-Aware Reasoning Energy (SARE, énergie de raisonnement par étape), suit les jetons d'une étape à mesure qu'ils remontent les couches du modèle et mesure à quel point les relations entre ces jetons continuent de changer d'une couche à l'autre. Une étape dont l'image interne continue de se réorganiser loin dans le réseau est une étape sur laquelle le modèle travaille. Une étape qui se stabilise dans les premières couches a été réglée à peu de frais. Additionnez le changement sur toutes les couches et vous obtenez l'énergie de cette étape.[1]
Ils ont ensuite regroupé chaque étape en sept grappes, sans supervision, à partir de la forme de sa représentation à la dernière couche, puis lu le rôle de chaque grappe après coup (poser le problème, récupérer des faits, comparer, synthétiser, répondre), pour pouvoir lire l'énergie par phase. Ils ont fait rouler trois modèles sur six bancs d'essai standards : deux en mathématiques (GSM8K, MATH), deux en sens commun (CSQA, StrategyQA, un jeu de questions de type vrai ou faux) et deux jeux de questions à sauts multiples, qui obligent à enchaîner des faits (HotpotQA, MuSiQue), à raison de 800 questions par modèle et par banc d'essai (687 pour StrategyQA).[1] Deux questions : l'effort diffère-t-il selon la phase et entre les exécutions bonnes et mauvaises, et peut-il prédire une mauvaise réponse sans connaître la bonne ?
Une chose à garder en tête avant les constats : cette mesure exige les états cachés de chaque couche du modèle. Vous pouvez la calculer sur un modèle que vous faites rouler vous-même. Vous ne pouvez pas la calculer sur un modèle auquel vous accédez par une API, parce que l'API ne vous donne pas accès à ses rouages internes. Toute la section pratique en découle.
Les mauvaises exécutions ont moins travaillé à l'étape difficile.
Le premier constat : l'effort n'est pas réparti également. Il se regroupe par phase, et sa forme dépend du modèle et du type de tâche. La récupération de faits en milieu d'exécution se tenait à un niveau stable et modéré d'un modèle à l'autre. Les extrêmes se trouvaient en début ou en fin d'exécution, selon la tâche.[1]
En mathématiques, Phi-4-mini a dépensé le plus à la mise en place, c'est-à-dire à traduire un problème écrit en structure, et le moins à l'étape finale, souvent légère une fois le travail fait. Dans les questions à sauts multiples et de sens commun, Gemma-3-4B et LLaMA-3.2-3B ont souvent atteint leur sommet à la synthèse finale, là où des preuves éparpillées doivent être réunies en une seule réponse.[1]
Le deuxième constat est celui qui mérite d'être retenu. Quand les auteurs ont séparé les exécutions qui se terminaient bien de celles qui se terminaient mal, les mauvaises avaient tendance à montrer une énergie plus faible à certains moments précis en fin de raisonnement, le plus nettement à la vérification et à la synthèse finales. Chez LLaMA-3.2-3B, les deux groupes se chevauchaient à la récupération initiale et ont commencé à se séparer aux étapes suivantes, là où l'on calcule des quantités et où l'on assemble les morceaux.[1] Ce constat repose sur les graphiques des auteurs pour trois paires modèle-banc d'essai, une par modèle ; l'article ne rapporte aucun test de signification. Le modèle qui a échoué ne se débattait pas. À l'étape qui demandait le plus de travail, il en a fait moins.
Les auteurs sont prudents sur ce que cela signifie, et nous devons l'être aussi : « the analysis does not establish whether lower energy precedes or contributes to failure, but rather that the two co-occur at specific reasoning junctions. » (en anglais dans l'original ; l'analyse n'établit pas si une énergie plus faible précède l'échec ou y contribue, seulement que les deux coïncident à certains points précis du raisonnement).[1] Un faible effort à l'étape difficile est un marqueur qui accompagne les mauvaises réponses chez ces modèles. On n'a pas démontré qu'il les cause.
Un troisième résultat, plus modeste, compte pour quiconque serait tenté de fixer un seuil : les modèles utilisaient des plages d'énergie très différentes. Gemma-3-4B allait d'environ 10 à 27,5, Phi-4-mini de 6 à 18, LLaMA-3.2-3B de 2 à 7.[1] Une valeur brute faible pour un modèle est élevée pour un autre.
Quatre scores de confiance sont devenus aveugles sur vrai ou faux.
La seconde moitié de l'article se demande si ces signaux internes peuvent repérer une mauvaise réponse après coup, sans corrigé. Les auteurs ont transformé chaque exécution en un court profil (sept statistiques sur l'énergie le long de l'exécution, cinq sur les phases que l'exécution a traversées et sur la fréquence à laquelle elle en changeait ou y revenait), y ont ajouté le nombre de jetons de l'exécution, et ont entraîné un classificateur simple à qualifier chaque exécution de probablement bonne ou de probablement mauvaise. Ils l'ont comparé à la seule longueur de l'exécution et à quatre scores qui lisent les probabilités de sortie du modèle, la façon habituelle de lui demander à quel point il était sûr de lui : la log-probabilité moyenne, l'entropie, la perplexité et un score d'auto-certitude.[1]
Sur StrategyQA, le banc d'essai vrai ou faux, les quatre scores de confiance ont obtenu un F1 de zéro (le F1 est un score de 0 à 1 qui met en balance la part des mauvaises exécutions qu'un détecteur repère et le nombre de fausses alertes qu'il déclenche), sur les trois modèles.[1] Les auteurs en donnent la raison : pour une réponse vrai ou faux, les probabilités du modèle se ressemblent, qu'il ait raison ou tort ; régler un seuil dessus revient donc à dire « tout est correct », et le détecteur ne signale jamais rien. Les auteurs insistent : il ne s'agit pas d'un bogue de leur implémentation, mais d'une limite de la confiance lue en sortie sur les tâches binaires.
Deux mises en garde s'imposent pour lire ce résultat honnêtement. Les quatre scores testés étaient calculés à partir des probabilités des jetons. Un modèle qui dit « je suis sûr à 90 % » en toutes lettres n'a pas été testé, pas plus que les grands modèles commerciaux. Et il s'agit d'un seul banc d'essai : sur les cinq autres, les scores de confiance ont affiché des résultats non nuls, bien que les signaux sur l'exécution entière les aient égalés ou dépassés dans la plupart des cellules.[1] La leçon est étroite, mais elle vaut d'être retenue : sur une sortie oui ou non, un score de confiance lu dans les propres probabilités du modèle peut être aveugle, et il ne vous dira pas qu'il l'est.
Le signal gratuit : la longueur de l'exécution, à lire avec prudence.
Sur StrategyQA, le simple nombre de jetons de l'exécution, un chiffre que la plupart des API de modèles rapportent déjà, a maintenu un F1 de 0,46 à 0,58 là où les quatre scores de confiance sont tombés à zéro, et a égalé ou dépassé la méthode par énergie sur deux modèles sur trois.[1] Ce chiffre demande un point de repère : sur ce banc d'essai, signaler toutes les exécutions comme mauvaises donnerait environ 0,58, 0,47 et 0,52 sur les trois modèles. Le nombre de jetons et la méthode complète se situent sur cette ligne, pas au-dessus ; les scores de confiance tombent en dessous parce que leur seuil réglé ne signalait rien. C'est dans la vue AUPRC de la section suivante que la longueur montre un vrai signal sur ce banc d'essai : au-dessus de la ligne du hasard sur deux modèles, au même niveau sur Phi-4-mini. Sur l'ensemble de l'article, le nombre de jetons a battu la ligne du hasard dans 12 des 18 combinaisons de modèle et de banc d'essai et est tombé en dessous dans six, dont trois sur Phi-4-mini. L'article traite la longueur et l'énergie comme complémentaires et les livre ensemble.
La question suivante est ce que les caractéristiques d'énergie ajoutent à la longueur, puisque la longueur fait déjà partie de la méthode principale. Sur le F1, selon notre décompte des tableaux 1 à 3 de l'article : dans 12 cellules sur 18, la méthode complète a dépassé le nombre de jetons seul de moins de 0,01, l'a égalé ou a fait moins bien. Le F1 peine à départager les deux, parce que presque toutes les cellules F1 de l'article se situent à moins de 0,02 de ce que donnerait le signalement de toutes les exécutions ; Gemma-3-4B sur MATH est l'exception manifeste. Selon la mesure AUPRC qu'utilise la section suivante, la méthode complète a dépassé le nombre de jetons de 0,01 ou plus dans 14 rangées sur 18, avec les plus grands écarts sur Phi-4-mini en mathématiques (GSM8K, 0,644 contre 0,395 ; MATH, 0,702 contre 0,600).[1]
Pour une entreprise qui utilise des modèles fermés, la longueur de l'exécution est le signal le plus utile de cet article : les états cachés d'un modèle fermé ne sont jamais visibles, mais la longueur de chaque exécution l'est. C'est un signal modeste, et les règles ci-dessous le traitent comme tel.
Lire les scores honnêtement.
Ne prenez pas les chiffres les plus élevés de l'article pour argent comptant. Sur les deux bancs d'essai à sauts multiples, les F1 de la méthode complète vont de 0,89 à 0,97, ce qui paraît excellent jusqu'à ce qu'on lise l'annexe : de 5 % à 17 % seulement de ces exécutions se sont bien terminées.[1] Quand la plupart des exécutions échouent, « celle-ci a échoué » est la réponse sûre, et un détecteur qui la donne à chaque fois obtient un score élevé : signaler toutes les exécutions comme mauvaises donne un F1 d'environ 0,91 sur HotpotQA et de 0,96 à 0,97 sur MuSiQue. La vue plus juste est l'aire sous la courbe précision-rappel (AUPRC) que les auteurs rapportent en annexe, comparée à la fréquence réelle des échecs, ce qui équivaut à peu près à ce que donnerait le hasard.
| banc d'essai | modèle | exécutions ratées (ligne du hasard approximative) | SARE + jetons | nombre de jetons | meilleur score de confiance |
|---|---|---|---|---|---|
| GSM8K | LLaMA-3.2-3B | 0,35 | 0,479 | 0,420 | 0,286 |
| GSM8K | Gemma-3-4B | 0,16 | 0,217 | 0,199 | 0,210 |
| GSM8K | Phi-4-mini | 0,45 | 0,644 | 0,395 | 0,380 |
| MATH | LLaMA-3.2-3B | 0,66 | 0,760 | 0,728 | 0,585 |
| MATH | Gemma-3-4B | 0,51 | 0,838 | 0,779 | 0,600 |
| MATH | Phi-4-mini | 0,62 | 0,702 | 0,600 | 0,528 |
| CSQA | LLaMA-3.2-3B | 0,30 | 0,329 | 0,331 | 0,252 |
| CSQA | Gemma-3-4B | 0,30 | 0,500 | 0,454 | 0,374 |
| CSQA | Phi-4-mini | 0,30 | 0,372 | 0,428 | 0,260 |
| StrategyQA | LLaMA-3.2-3B | 0,41 | 0,382 | 0,451 | 0,000 |
| StrategyQA | Gemma-3-4B | 0,30 | 0,419 | 0,390 | 0,000 |
| StrategyQA | Phi-4-mini | 0,35 | 0,367 | 0,347 | 0,000 |
| HotpotQA | LLaMA-3.2-3B | 0,83 | 0,861 | 0,869 | 0,730 |
| HotpotQA | Gemma-3-4B | 0,83 | 0,837 | 0,813 | 0,751 |
| HotpotQA | Phi-4-mini | 0,84 | 0,894 | 0,882 | 0,770 |
| MuSiQue | LLaMA-3.2-3B | 0,92 | 0,921 | 0,900 | 0,881 |
| MuSiQue | Gemma-3-4B | 0,93 | 0,926 | 0,909 | 0,917 |
| MuSiQue | Phi-4-mini | 0,95 | 0,969 | 0,958 | 0,964 |
La colonne du hasard est notre arithmétique : un moins le taux d'exécutions réussies du tableau 4 de l'article. Les nombres de jetons surlignés dépassent la méthode complète. « Meilleur score de confiance » est le plus élevé des quatre scores fondés sur les probabilités, pour chaque rangée. L'article rapporte 0,000 pour les scores de confiance sur StrategyQA ; un score de classement ne peut pas produire exactement zéro sur cette mesure quand au moins une exécution a échoué, alors prenez ces tableaux tels que l'article les a calculés, et la ligne du hasard comme un repère approximatif, pas comme un plancher exact. Le meilleur score de confiance se situe aussi sous la ligne du hasard dans 14 rangées sur 18, ce qu'un score bien orienté devrait rarement faire ; l'article a peut-être noté ces références dans le sens inverse. Lisez « bat les scores de confiance » comme une preuve faible et « bat la ligne du hasard » comme le vrai test.
Lu par rapport à la ligne du hasard, le portrait est plus modeste et plus utile. Sur MuSiQue, chaque méthode se tient à quelques centièmes de ce que donnerait le hasard : il y a peu à détecter quand plus de neuf exécutions sur dix échouent. Les vrais écarts se trouvent en mathématiques, où la méthode par énergie dépasse la ligne du hasard dans les six rangées, avec les plus grands écarts sur Gemma-3-4B en MATH (0,838 contre 0,51) et sur Phi-4-mini en GSM8K (0,644 contre 0,45). Le nombre de jetons bat la méthode complète dans quatre rangées sur dix-huit, et sur StrategyQA avec LLaMA-3.2-3B, la méthode complète tombe sous la ligne du hasard tandis que le nombre de jetons la dépasse.[1]
Que faire avec des modèles fermés.
Vous ne pouvez pas mesurer SARE sur les modèles fermés sur lesquels roule la plupart de l'automatisation des flux de travail par IA dans les PME. Deux idées survivent à cet écart, et elles se traduisent en quatre règles qui ne coûtent presque rien. Ce sont nos lectures de l'article, indiquées comme telles quand elles vont plus loin que lui.
- Consignez la longueur de chaque exécution, par type de tâche.
Le nombre de jetons était le signal le moins coûteux de l'article à avoir tenu bon, et la plupart des API de modèles le renvoient déjà avec chaque réponse. Enregistrez-le pour chaque exécution, groupé par type de tâche, pour savoir à quoi ressemble la normale pour un rapprochement de relevés ou une soumission. L'article ne rapporte pas dans quel sens la longueur prédisait l'échec dans ses données (la longueur était une entrée parmi d'autres d'un classificateur) ; ne supposez donc pas que court est mauvais, ni que long l'est. Signalez les exécutions qui sortent nettement de la plage habituelle pour leur tâche, dans un sens comme dans l'autre, et confiez-les à une personne. Une réserve de plus : les exécutions de l'article étaient plafonnées à 512 nouveaux jetons et échantillonnées à une température de 0,7 ; on n'a donc pas testé si la longueur porte le même signal dans le raisonnement plus long ou caché d'un modèle fermé.
→ longueur par exécution, une plage normale par type de tâche - Repérez l'étape difficile dans la trace et vérifiez qu'elle a été travaillée, pas racontée.
Le constat de l'exécution en roue libre a une version peu coûteuse pour le réviseur, et c'est notre extrapolation, pas une mesure de l'article : une exécution étrangement fluide à l'étape qui aurait dû être difficile (la vérification, le rapprochement, la mise en commun de sources) est une raison d'aller voir, pas de se rassurer. Dans la trace ou le journal de travail, « totaux rapprochés » sans comparaison ligne par ligne, ou « vérifié par rapport à la source » sans qu'aucune source n'ait été ouverte, est le pendant visible d'un faible effort à l'étape de vérification. Notre note sur la vérification du travail de l'IA explique jusqu'où cette vérification doit aller.
→ l'étape de vérification montre son travail, sinon l'exécution passe en révision - Ne conditionnez pas une décision binaire (oui ou non) à un score de confiance.
Les quatre scores fondés sur les probabilités sont tombés à zéro sur le banc d'essai vrai ou faux. Si une automatisation approuve d'office « aucun doublon trouvé » ou « correspond au bon de commande » parce que la confiance du modèle a franchi un seuil, ce seuil peut être aveugle justement sur ce genre de sortie (notre extrapolation : l'article a testé des scores de probabilité sur de petits modèles, pas une confiance exprimée par un modèle fermé). Conditionnez plutôt les réponses oui ou non à une vérification par rapport à la source, ou à une révision par échantillonnage.
→ sorties binaires : vérifiées ou échantillonnées, jamais conditionnées à la confiance - Fixez les seuils par modèle, par rapport à la normale de ce modèle.
Les plages d'énergie étaient plusieurs fois plus élevées chez certains modèles que chez d'autres (fig 2). À notre avis, il en va de même de la longueur des exécutions : changez de modèle et la plage normale du mois dernier n'est plus valable. Refaites la mesure de référence chaque fois que le modèle ou le prompt change, sinon chaque signal que vous avez réglé n'est que du bruit.
→ nouvelle référence à chaque changement de modèle ou de prompt
Un exemple concret : le rapprochement de relevés.
Prenons, à titre d'illustration, un cabinet de tenue de livres québécois qui fait rouler un assistant chargé de rapprocher chaque mois les relevés de fournisseurs de chaque client avec le grand livre et de rédiger un résultat d'une ligne : « rapproché, aucun écart » ou une liste de différences. Tout réviser à la main enlève l'intérêt de la chose ; ne rien réviser, c'est ainsi qu'une note de crédit manquée finit chez un client. L'article suggère où investir le temps de révision.
| déclencheur de révision | ce qu'il lit | pourquoi, d'après l'article |
|---|---|---|
| longueur de l'exécution hors plage | nombre de jetons par rapport à la plage habituelle pour un relevé de cette taille | la longueur a battu la ligne du hasard dans 12 cellules sur 18, sans frais |
| étape de vérification racontée, pas montrée | la trace dit « rapproché » sans comparaison ligne par ligne | les mauvaises exécutions ont fait moins de travail à la vérification (corrélationnel, petits modèles) |
| résultat « aucun écart » | révision par échantillonnage sur une part fixe, jamais conditionnée à la confiance | la confiance fondée sur les probabilités était aveugle sur une réponse binaire |
Aucun de ces déclencheurs n'exige de nouvel outil : le nombre de jetons est dans la réponse de l'API, la trace est déjà journalisée, et l'échantillon est une règle du flux de travail. Ce que l'article ajoute, c'est une raison de les braquer sur l'étape difficile plutôt que de répartir l'attention également, et une mise en garde contre un « tout est en ordre » rassurant sur une réponse oui ou non. Reste à savoir si ces déclencheurs attrapent plus d'erreurs qu'un échantillon uniforme dans ce contexte : ce n'est pas testé, et c'est la première chose que nous mesurerions.
La suite que proposent les auteurs va plus loin : utiliser un faible effort à une étape à forts enjeux pour déclencher une reprise de cette étape, ou récompenser l'effort soutenu pendant l'entraînement.[1] Ce sont deux propositions, non testées dans l'article, et les deux exigent l'accès à l'intérieur du modèle. Pour les modèles fermés, elles ne sont pas envisageables.
Ce que cette note ne prétend pas.
Petits modèles ouverts seulement. Toutes les expériences utilisent des modèles à poids ouverts de 3 à 4 milliards de paramètres. Les auteurs signalent que la généralisation à de plus grands modèles reste une question ouverte. Trois architectures qui concordent, c'est la seule preuve que le constat tient d'un modèle à l'autre.
Une corrélation, pas une cause. Une énergie plus faible à l'étape difficile coïncide avec les mauvaises réponses chez ces modèles. L'article ne montre pas qu'elle les cause, et le dit.
Hors ligne, et à l'intérieur du modèle. SARE exige les états cachés de chaque couche pour chaque étape, ce que les auteurs décrivent comme le mieux adapté à l'analyse hors ligne. Elle ne peut pas être calculée sur une API fermée.
Les scores élevés reposent sur le taux de base. Un F1 voisin de 0,9 sur les bancs d'essai à sauts multiples reflète la fréquence à laquelle ces exécutions ont échoué (de 83 % à 95 %), pas un pouvoir de détection. Utilisez la vue AUPRC comparée à la ligne du hasard.
La longueur seule suit souvent. Le nombre de jetons égale la méthode complète à 0,01 près, ou la dépasse, dans 12 cellules F1 sur 18, et la dépasse dans quatre rangées AUPRC sur 18. Les caractéristiques d'énergie apportent le plus en mathématiques, selon l'AUPRC, et seulement sur des modèles dont on peut lire l'intérieur.
Une prépublication d'un seul laboratoire, non reproduite. Chaque chiffre ici est celui des auteurs. Les profils de phases de la fig 1 reprennent le texte de l'article ; nous n'avions pas les graphiques.
Si une étape d'IA dans votre entreprise renvoie des réponses oui ou non que personne ne vérifie, ou si vous ne savez pas quelles exécutions méritent un second regard, décrivez-nous le flux de travail par le formulaire de contact. Nous vous répondrons gratuitement, par écrit, avec les déclencheurs que nous y mettrions. Bâtir des étapes de révision comme celles-ci fait partie de nos services en assistants et agents.