Une soumission ne sort d'une petite entreprise qu'après le passage d'une seconde IA. Une section de proposition reçoit une note avant qu'une personne la voie. Un assistant de boîte de réception rédige une réponse, puis on lui demande si cette réponse est assez bonne pour être envoyée. Dans chaque cas, une phrase au début du prompt de révision dit à qui est le travail jugé : « révisez votre brouillon », « vérifiez la réponse de l'assistant », « notez la proposition que l'autre modèle a rédigée ». On teste rarement une étape de révision pour ce que cette phrase fait au verdict. Une prépublication de cinq chercheurs du KAIST, mise à jour en septembre, mesure exactement cela sur dix modèles d'IA, et la phrase change bel et bien le verdict.[1]
Si vous voulez d'abord le test, passez directement à la version de dix minutes.
La phrase au début de chaque prompt de révision.
Des recherches antérieures sur les réviseurs IA (le domaine les appelle des juges LLM) avaient déjà trouvé qu'un modèle tend à noter plus haut sa propre production que celle d'un autre modèle. Notre note sur les juges IA qui corrigent leur propre copie rapportait un de ces résultats : un réviseur LLM acceptait le texte écrit par une machine de 1,42 à 1,91 fois plus souvent que le texte écrit par un humain. Le problème, quand on mesure cela sur du texte généré, c'est que trois choses voyagent ensemble : le style d'écriture du juge, qu'il pourrait reconnaître ; la qualité réelle du travail ; et son éventuel favoritisme envers lui-même. Une note plus haute pour son propre travail pourrait venir de n'importe laquelle des trois.
L'astuce des chercheurs du KAIST a été d'enlever le texte. Au lieu de juger une production écrite, chacun des dix modèles a choisi 20 éléments dans un bassin commun de 200 contraintes de récit d'une phrase, rédigées d'avance (un événement, un décor, un trait de caractère), 30 fois chacun, puis chaque modèle a noté chaque sélection selon une grille de quatre critères sur une échelle de 7 points. Aucun modèle n'a écrit un mot, donc il n'y a aucun style à reconnaître. Pourtant, les choix laissent une empreinte : un classificateur simple arrivait à dire quel modèle avait fait une sélection dans 50,7 % des cas, contre 10 % par hasard.[1] On obtient ainsi un instrument propre. Quoi que fasse le juge d'une sélection, il ne réagit pas à de la prose.
Le même travail, deux étiquettes.
L'expérience qui compte pour une entreprise est la seconde. Pour chaque juge, l'équipe a jumelé ses propres sélections à des sélections d'autres modèles que ce même juge avait notées, à l'aveugle, presque de la même façon (à 0,25 près sur la moyenne globale et à un point près sur chaque critère de la grille). Chaque sélection a ensuite été notée de nouveau sous l'une de deux phrases anonymes : « your own selection » (en anglais dans l'original ; votre propre sélection), que nous appellerons l'étiquette de soi, ou « another language model » (en anglais dans l'original ; un autre modèle de langage), l'étiquette d'autrui. Aucun modèle n'était nommé. Chaque sélection a été notée trois fois par condition, pour 4 800 essais notés au total. Comme la vraie source et l'étiquette affichée étaient croisées, la moitié des étiquettes étaient des mensonges.
Lisez la fig 1 d'une colonne à l'autre et c'est l'étiquette qui fait le travail : 4,92 contre 4,50. D'une rangée à l'autre, la vraie source ne fait presque rien : 4,92 contre 4,91. Dans le modèle des auteurs, l'effet de l'étiquette est de +0,43 sur la moyenne de l'échelle de 7 points et il est significatif sur chaque critère de la grille (de +0,29 sur la cohérence à +0,57 sur la dimensionnalité, avec l'originalité à +0,53 et la narrabilité à +0,32), alors que l'effet de qui a réellement produit la sélection est de +0,02 et non significatif.[1] L'interaction entre l'étiquette et la vérité est nulle, et c'est le détail à retenir : une fausse étiquette a déplacé la note exactement autant qu'une vraie. Le juge réagissait à la phrase, pas à une quelconque reconnaissance de son propre travail.
À la hausse, à la baisse ou les deux : cela dépend du modèle.
Une seule taille d'effet cache la direction. Mesuré par rapport à la note à l'aveugle de chaque juge, le déplacement se composait de deux parties qui peuvent apparaître ensemble ou seules : les notes montaient sous l'étiquette « votre propre sélection » et baissaient sous l'étiquette « un autre modèle de langage ». Le tableau 6 de l'article donne les deux chiffres pour chaque juge, et le profil est propre à chaque modèle. Les auteurs nomment quatre profils : « symmetric », « self-boost », « other-penalty » et « general-penalty » (en anglais dans l'original ; symétrique, gonflement de soi, pénalité à l'autre, pénalité générale).
Six des dix juges montrent le profil symétrique : un peu plus indulgents envers le travail « à eux », plus durs envers celui d'« un autre modèle », la pénalité pesant habituellement plus lourd des deux. Deux montrent ce que les auteurs appellent le gonflement de soi : Claude Opus 4.7 (+0,275 sous l'étiquette de soi, aucun changement fiable sous l'étiquette d'autrui) et DeepSeek-V4-Pro (+0,443, idem). GPT-5.5 est l'image inverse : aucun gonflement de soi, mais une pénalité de 0,34 point sur tout ce qui est étiqueté comme venant d'un autre modèle. Llama 4 Maverick, l'un des deux juges que les auteurs ont mis de côté dans la ronde à l'aveugle parce qu'ils utilisaient à peine l'échelle, baisse la note sous les deux étiquettes.[1]
Un petit calcul, le nôtre et pas celui de l'article, dit ce qu'un déplacement de cette taille fait à un seuil. Si votre règle est « envoyer à 5 ou plus » sur une grille de 7 points, tout ce que le réviseur noterait de 4,6 à 4,9 à l'aveugle passe maintenant sous une étiquette de soi, et tout ce qu'il noterait de 5,0 à 5,4 à l'aveugle peut échouer sous une étiquette d'autrui. Les éléments près de la ligne sont exactement ceux pour lesquels une étape de révision existe.
Pour une entreprise, le profil compte plus que la moyenne, parce qu'il dit où votre étape de révision est exposée. Un juge à gonflement de soi est le plus dangereux dans une boucle d'autovérification : demandez-lui si « votre brouillon » est prêt et il est un quart de point plus indulgent que s'il le lisait à l'aveugle, sur une échelle de 7 points, sans que rien ne change dans le brouillon. Un juge à pénalité à l'autre est le plus dangereux dans une passation : dites-lui que le brouillon vient de « l'assistant » ou de « l'autre modèle » et il baisse la note d'un travail qu'il aurait autrement accepté. Comme la phrase est la seule chose qui a changé, la phrase est ce qu'il faut retirer.
À l'aveugle, l'auto-préférence disparaît presque.
La première expérience est celle qui garde la seconde honnête. Avant toute étiquette, chaque juge a noté les 300 sélections à l'aveugle, trois fois chacune. À première vue, sept juges sur dix ont noté leurs propres sélections plus haut, jusqu'à 1,09 point pour un modèle. Mais les modèles qui sélectionnent bien ont obtenu de hautes notes de tous les juges, y compris d'eux-mêmes, et le modèle statistique des auteurs sépare cela du favoritisme en tenant compte de la sévérité de chaque juge, de la qualité de chaque modèle comme sélectionneur et du fait que chaque sélection est notée à répétition.
Une fois mis de côté les deux juges qui utilisaient à peine l'échelle, l'effet d'auto-préférence tombe à +0,003 et n'est significatif sur aucun critère de la grille ; le seul effet qui reste est un petit effet négatif sur l'originalité, le contraire du favoritisme.[1] Un nouvel ajustement sur les dix juges avec une autre spécification du modèle a donné la même réponse. Donc, dans un cadre où aucun style ne peut filtrer et où la qualité du travail est prise en compte, le favoritisme des juges a suivi l'étiquette, pas la vraie source.
Deux choses que cela ne dit pas. Cela ne dit pas que l'auto-préférence n'existe pas. Le mot des auteurs eux-mêmes est « disappears » (en anglais dans l'original ; disparaît), sur cette tâche, en notation à l'aveugle, avec un petit effet qui subsiste dans le sens contraire ; notre lecture est « petite dans ce cadre », pas « absente », parce que la part propre de l'auto-préférence, celle que la qualité et la sévérité n'expliquent pas, n'a été mesurée que là où aucune prose ne pouvait filtrer. Et cela ne touche pas le chiffre que nous avons rapporté en juillet. L'acceptation excessive de 1,42 à 1,91 fois du texte écrit par une machine est une préférence machine contre humain sur de la prose générée, où le style peut filtrer, et elle mesure autre chose que soi contre autrui sur des cibles identiques. Les deux peuvent être vraies. Le jugement ancré sur une référence et l'ensemble de calibration adverse de cette note demeurent le correctif pour un juge qui dérive vers le texte machine ; le protocole à l'aveugle de cet article est le correctif pour un juge à qui l'on dit à qui est le travail qu'il note.
Un second domaine, et un revirement.
Choisir des contraintes de récit est loin de réviser une proposition, et les auteurs le savaient. Leur réplication a fait écrire à ces dix mêmes modèles 90 courtes propositions de recherche, a fait réécrire toutes ces propositions par un modèle distinct dans un style neutre unique pour aplatir la voix de chaque auteur, les a notées à l'aveugle sur un formulaire d'évaluation standard en cinq parties, puis a de nouveau noté 85 paires appariées selon la qualité sous les deux mêmes étiquettes anonymes.
| critère d'évaluation | effet de l'étiquette | significatif ? | ce que cela donne |
|---|---|---|---|
| global | +0,196 | oui | une étiquette de soi relève la note globale |
| nouveauté | +0,244 | oui | « mon » idée est plus originale |
| enthousiasme | +0,206 | oui | « mon » idée est plus emballante |
| efficacité attendue | +0,047 | non | aucun déplacement fiable |
| faisabilité | −0,116 | oui | « mon » idée est moins faisable |
L'effet de l'étiquette s'est reproduit sur du travail écrit réel : +0,196 au global sur une échelle de 10 points, la vraie source ne faisant encore rien de significatif.[1] Le revirement se trouve dans la faisabilité, qui est allée dans l'autre sens. Quand on lui dit qu'une proposition est la sienne, un juge la trouve plus nouvelle, plus emballante et moins faisable. L'attribution change le jugement de façons qui dépendent de ce qui est jugé. Notre conclusion : retirer l'étiquette plutôt qu'essayer de corriger pour elle, parce qu'une correction devrait connaître la direction de chaque critère pour chaque modèle, et la direction change.
Le correctif tient en une phrase de moins.
Rien dans l'article n'exige un nouvel outil. L'étiquette était une phrase dans le prompt, alors la défense est de ne pas écrire la phrase. « Révisez ce brouillon par rapport aux consignes » ne porte aucun propriétaire. « Révisez votre brouillon » est une étiquette de soi, et dans cet article une étiquette de soi valait entre +0,08 et +0,44 par rapport à une note à l'aveugle, selon le juge. « Révisez le brouillon de l'assistant » ou « vérifiez la réponse de l'autre modèle » est une étiquette d'autrui : huit juges sur dix ont baissé la note devant elle, jusqu'à 0,52. L'écart entre les deux étiquettes était de 0,43. L'étiquette n'a pas besoin d'un nom de modèle pour mordre, et une fausse étiquette mord aussi fort qu'une vraie, alors la même règle vaut pour un réviseur qui est un autre modèle, pour le même modèle dans une nouvelle conversation, ou pour la même conversation qui vérifie son propre travail.
Trois conséquences en découlent pour la façon de bâtir les étapes de révision, et ces lectures sont les nôtres, pas celles de l'article.
Premièrement, une autovérification dans la même conversation (« maintenant, révisez ce que vous venez d'écrire ») ne peut pas éviter l'étiquette de soi : le modèle sait que le brouillon est le sien parce qu'il vient de le produire. Les auteurs nomment l'auto-amélioration (un modèle à qui l'on demande d'améliorer ce qu'il vient d'écrire) comme le cadre où l'auto-préférence est connue pour s'amplifier ; qu'une vérification dans la même conversation ne puisse pas cacher l'auteur est notre lecture. Un réviseur dans une nouvelle conversation, à qui on remet le brouillon sans historique, peut l'éviter. C'est la raison structurelle de préférer un réviseur sans historique à l'autocritique, un point que notre note sur l'audit d'une automatisation par la lecture d'un seul fichier faisait valoir sous un autre angle.
Deuxièmement, le réviseur sans historique n'aide que si le prompt de passation ne réintroduit pas l'étiquette : « voici le brouillon de l'agent » défait la séparation.
Troisièmement, c'est un chercher-supprimer dans vos prompts, pas un projet. Chaque prompt qui révise, approuve ou valide quelque chose dans vos automatisations a une phrase d'ouverture. Lisez chacune pour y trouver un propriétaire, et retirez-le.
Testez votre propre prompt de révision en dix minutes.
La méthode de l'article se réduit à un test de fumée (un test rapide qui dit si quelque chose est cassé) que tout exploitant peut faire sur une étape de révision qu'il a déjà. L'article utilisait des paires appariées selon la qualité, trois répétitions et un modèle statistique ; cette version n'a rien de tout cela, et elle vous dit seulement si votre réviseur lit l'étiquette.
- Choisissez un document que votre réviseur note déjà.
Une soumission, un courriel à un client, une section de proposition, une réponse de boîte de réception. Gardez-le fixe pendant tout le test ; seule la phrase d'ouverture du prompt de révision change.
→ un document, inchangé du début à la fin - Faites la révision de trois façons, trois fois chacune.
Une fois en ouvrant par « révisez votre brouillon », une fois par « révisez le brouillon qu'un autre assistant IA a rédigé », une fois sans aucun propriétaire (« révisez ce brouillon »). Même grille, même échelle, une nouvelle conversation chaque fois pour qu'aucun historique ne filtre. Neuf essais ; avec une grille notée, comptez environ dix minutes.
→ 3 étiquettes × 3 essais, nouvelle conversation à chaque fois - Comparez les trois moyennes.
Si les moyennes de « votre brouillon » et de « brouillon d'un autre assistant » sont séparées d'une fraction notable de votre échelle alors que le document n'a jamais changé, votre réviseur note l'étiquette. Dans l'article, l'écart était d'environ 0,4 sur une échelle de 7 points ; votre chiffre sera différent, et avec trois essais, c'est un signal, pas une mesure.
→ un écart alors que rien n'a changé = l'étiquette est notée - Retirez l'attribution de chaque prompt de révision, et gardez la version sans propriétaire.
Relancez ensuite le prompt sans propriétaire quelques fois pour voir de combien la note bouge d'elle-même ; cette dispersion est la marge de bruit dans laquelle se situe tout verdict isolé, et une bonne raison de jumeler le réviseur à une référence (les consignes, la liste de vérification, l'exemple approuvé) plutôt qu'à un simple « est-ce que c'est bon ».
→ aucun propriétaire dans le prompt, une référence dans la grille
Ce que cette note ne prétend pas.
Un domaine principal, une réplication. Le résultat net porte sur le choix de contraintes de récit, une tâche créative choisie pour le contrôle plutôt que pour le réalisme. La réplication sur des propositions de recherche ajoute un domaine, et la direction s'y est inversée sur un critère. Savoir si l'effet tient là où il y a une bonne réponse (un calcul, une vérification de règle) n'a pas été testé.
Des étiquettes explicites seulement. L'article a mis l'étiquette dans le prompt. Les pipelines réels portent plutôt des indices implicites : la formulation d'un modèle, l'interface d'un outil, un nom de fichier. Les auteurs disent clairement que la question de savoir si ces indices biaisent un juge de la même façon n'est pas examinée ici. Retirer la phrase retire l'indice que cet article a mesuré, pas tous les indices.
Une grille que personne n'a validée auprès d'humains. La grille de quatre critères est offerte comme cadre cohérent pour les juges, pas comme mesure d'une qualité sur laquelle des humains s'entendraient. Le déplacement de la note est réel ; ce que veut dire un 4,92 n'est pas établi.
En anglais seulement, dix juges, dont deux peu nuancés. Tout s'est déroulé en anglais. Deux des dix modèles (Llama 4 Maverick et Mistral Large 3) ont à peine utilisé l'échelle, et le résultat principal à l'aveugle dépend de les mettre de côté (les auteurs montrent aussi l'ajustement de rechange).
Une prépublication, version 2. Non évaluée par les pairs et, à notre connaissance, reproduite par personne. Traitez les chiffres comme des affirmations des auteurs. Notre test de dix minutes plus haut est un test de fumée bâti sur leur plan d'expérience, et il n'a aucun de leurs contrôles.
Si vous faites rouler une étape de révision par IA et que vous n'avez pas relu sa phrase d'ouverture pour y chercher un propriétaire, envoyez-nous le prompt par le formulaire de contact et vous recevez gratuitement une première lecture écrite qui dit où se trouve l'étiquette et par quoi la remplacer. Ce type de travail fait partie de nos services en assistants et agents.