Imaginez un propriétaire d'entreprise qui fait rédiger par une IA les réponses par courriel à sa clientèle, puis fait évaluer chaque brouillon par un second appel d'IA avant l'envoi : « Notez cette réponse de 1 à 10 pour l'exactitude, le ton et l'exhaustivité. » Les notes reviennent en 8 et en 9, et l'étape a l'air d'un contrôle de la qualité. La recherche sur les juges IA dit qu'il s'agit de quelque chose de plus étroit. Un modèle à qui l'on demande d'évaluer un texte peut souvent dire lequel est le sien, et il note ce texte plus haut. Les juges plus anciens penchaient aussi vers la réponse qui venait en premier et vers la plus longue ; les juges présentement en usage penchent surtout vers la version avec des titres et des puces. Aucune de ces choses n'est une propriété de la réponse. Ce sont des propriétés du juge. Dire que « le modèle l'a vérifié », c'est donc dire qu'un juge qui favorise ses semblables a évalué l'un de ses semblables.
Ce qu'est un juge IA.
Un juge IA est un appel à un modèle dont le rôle est d'évaluer la sortie d'un autre modèle : noter un brouillon, choisir la meilleure de deux réponses, décider si un résultat passe. Ce patron s'est répandu parce qu'un seul appel remplace une file de révision, et parce que l'article de 2023 qui l'a nommé a rapporté que GPT-4 concordait avec des votants humains à peu près aussi souvent que les humains concordaient entre eux.[2] Ce chiffre est réel, et la plus grande part de la confiance repose dessus.
Deux questions décident de la valeur du verdict d'un juge sur votre travail. Note-t-il différemment le même texte selon qui l'a écrit, l'endroit où il se trouve dans le prompt ou sa mise en forme ? Et quand il est en désaccord avec une personne, qui a raison ? Les études ci-dessous répondent à la première avec des chiffres, et à la seconde seulement pour des réponses de clavardage et des résumés de nouvelles.
Il reconnaît son propre travail.
Panickssery, Bowman et Feng ont pris trois modèles évaluateurs (GPT-4, GPT-3.5 et Llama 2) et deux jeux de données de résumé de nouvelles, XSUM et CNN/DailyMail, 1 000 articles chacun. Chaque modèle a résumé chaque article, puis on lui a présenté des paires de résumés en lui posant deux questions distinctes. Auto-préférence : quel résumé est le meilleur ? Auto-reconnaissance : quel résumé avez-vous écrit ?[1]
La question de la reconnaissance est la moins évidente, et l'argument repose sur elle. Sans entraînement, GPT-4 a identifié son propre résumé parmi ceux des autres modèles et celui d'un humain dans 73,5 % des cas, et l'introduction de l'article dit que les trois modèles ont fait mieux que le hasard, avec une exception dans son propre tableau (voir fig 1).[1] Les auteurs parlent d'une « non-trivial self-recognition capability out of the box » (en anglais dans l'original ; une capacité d'auto-reconnaissance non triviale d'emblée). La question de la préférence a donné le même résultat : GPT-4 a préféré son propre résumé dans 70,5 % des cas sur XSUM et dans 91,2 % sur CNN/DailyMail, alors que 50 % signifierait aucune préférence. GPT-3.5 et Llama 2 se sont tenus beaucoup plus près de 50 %.
| évaluateur | reconnaît le sien · XSUM / CNN/DM | préfère le sien · XSUM | préfère le sien · CNN/DM |
|---|---|---|---|
| GPT-4 | 67,2 % / 74,7 % | 70,5 % | 91,2 % |
| GPT-3.5 | 53,5 % / 48,1 %* | 58,2 % | 43,1 % |
| Llama 2 | 51,4 % / 50,5 % | 51,1 % | 50,5 % |
Les auteurs ont ensuite fait ce qui transforme une corrélation en argument. Ils ont soumis GPT-3.5 et Llama 2 à un affinage (fine-tuning) pour qu'ils reconnaissent mieux leurs propres sorties, avec aussi peu que 500 exemples. L'introduction de l'article rapporte une reconnaissance qui monte au-dessus de 90 %, et la préférence pour leurs propres résumés a monté avec elle, selon une droite : l'article rapporte « a linear correlation between self-recognition capability and the strength of self-preference bias » (en anglais dans l'original ; une corrélation linéaire entre la capacité d'auto-reconnaissance et l'intensité du biais d'auto-préférence).[1] Pour écarter l'explication banale, ils ont aussi affiné des modèles pour qu'ils reconnaissent plutôt la longueur, le nombre de voyelles et un score de lisibilité ; ceux-ci sont tombés sur la même droite, ce que les auteurs interprètent comme une préférence qui suit la reconnaissance plutôt qu'une caractéristique de surface en particulier.
Une mise en garde, et sa conséquence. Le résumé de l'article décrit l'auto-préférence comme le fait de favoriser sa propre sortie quand « human annotators consider them of equal quality » (en anglais dans l'original ; des annotateurs humains les jugent de qualité égale), mais l'article ne rapporte aucune note de qualité humaine qui lui soit propre ; le contrôle de la qualité de génération est nommé comme une limite. Sur les seuls chiffres bruts, les résumés de GPT-4 pourraient donc simplement avoir été meilleurs. Ce qu'ajoute le résultat de l'affinage, c'est que la préférence bouge avec la reconnaissance alors que les résumés restent les mêmes, et c'est cette partie qui devrait déranger quiconque exploite un juge.
Un suivi de 2025 a posé directement la question de la qualité. Chen, Wei, Zhu, Feng et Meng ont mis des évaluateurs à l'épreuve sur des tâches de mathématiques, de faits et de programmation dont la bonne réponse est connue, et ont constaté qu'une bonne partie de la préférence d'un modèle plus fort pour ses propres réponses est méritée : ses réponses étaient meilleures. La part nuisible apparaît quand l'évaluateur s'est lui-même trompé sur la tâche, et les modèles plus forts en montraient davantage dans ces cas.[7] Posez donc à votre juge la question plus étroite : se favorise-t-il quand il a tort ?
C'est une autre voie d'accès au problème que notre note sur les étiquettes. Là, on disait au juge à qui était le travail, et l'étiquette faisait bouger la note. Ici, personne ne lui a rien dit. Il a déduit l'auteur à partir du texte.
L'ampleur du penchant, mesurée contre les gens.
Wataoka, Takahashi et Ri ont posé la question que l'article sur les résumés laissait ouverte : quand un juge favorise sa propre réponse, a-t-il tort ? Ils ont utilisé Chatbot Arena, 33 000 conversations où deux modèles répondent au même prompt et où un humain vote pour la meilleure réponse. Huit modèles ont servi d'évaluateurs sur des paires qui comprenaient parfois leur propre réponse.[3]
Leur mesure est facile à énoncer. Ne gardez que les paires où l'humain a préféré une réponse. À quelle fréquence le juge concordait-il avec l'humain quand la réponse gagnante était celle du juge, et à quelle fréquence quand elle était celle de quelqu'un d'autre ? Pour GPT-4, les deux chiffres étaient 0,945 et 0,425 : il concordait avec les gens dans 94,5 % des cas quand ils avaient choisi la réponse de GPT-4, et dans 42,5 % des cas quand ils en avaient choisi une d'un autre modèle. L'écart, 0,520, est la mesure principale de l'article, sur une échelle où « a value of 0 indicates the absence of bias, while a value close to 1 suggests a high degree of bias » (en anglais dans l'original ; une valeur de 0 indique l'absence de biais, tandis qu'une valeur proche de 1 suggère un degré élevé de biais).[3] Sur les mêmes paires étiquetées par des humains, le juge avait plus de deux fois plus de chances de se ranger du côté de la personne quand celle-ci avait choisi sa réponse à lui.
L'explication des auteurs est la partie utile. Ils ont mesuré la perplexité de chaque réponse selon chaque juge, soit en gros à quel point le texte est peu surprenant pour ce modèle, et ont constaté que les juges « assign significantly higher evaluations to outputs with lower perplexity than human evaluators, regardless of whether the outputs were self-generated » (en anglais dans l'original ; attribuent des évaluations nettement plus élevées que les évaluateurs humains aux sorties de plus faible perplexité, qu'elles aient été ou non générées par eux-mêmes).[3] Le juge récompense un texte qui se lit comme il l'aurait écrit, signature ou pas. Sa propre sortie est le cas extrême ; un modèle entraîné sur des données semblables, ou un brouillon déjà passé par un modèle, reçoit une part du même crédit.
Cela rejoint ce qu'ont vu ceux qui ont nommé le problème et qui ont refusé de l'affirmer. Zheng et coll. ont remarqué que GPT-4 gagnait environ 10 points plus souvent quand GPT-4 était le juge, et Claude-v1 environ 25 points plus souvent, mais ont écrit : « Due to limited data and small differences, our study cannot determine whether the models exhibit a self-enhancement bias. » (en anglais dans l'original ; faute de données suffisantes et vu les petits écarts, notre étude ne peut pas déterminer si les modèles présentent un biais d'auto-valorisation).[2] En 2024, deux groupes distincts l'avaient mesuré avec des contrôles.
Une prépublication de 2026 complique le portrait. Yang et coll. ont évalué 20 juges présentement en usage sur 100 questions, en utilisant deux autres modèles pour décider quelles paires étaient d'égale qualité, avec trois experts qui vérifiaient les cas difficiles (79,8 % de concordance). Huit juges favorisaient leurs propres réponses, neuf favorisaient celles des autres et trois ne montraient aucun penchant ; l'auto-préférence la plus forte était celle de LongCat-Flash-Chat, à 0,307, et Claude-Sonnet-4.5 penchait dans l'autre sens, à −0,229.[4] Leur résumé : « stronger quality or higher discriminability does not necessarily imply lower SPB » (en anglais dans l'original ; une meilleure qualité ou une plus grande capacité de discrimination n'implique pas nécessairement un SPB plus faible, SPB désignant le biais d'auto-préférence). On ne peut pas deviner le penchant d'un juge à partir de sa qualité. Les étiquettes de qualité viennent de modèles plutôt que de personnes, et l'article est présenté sous la revue Information Sciences, sans statut d'acceptation que nous ayons pu confirmer : lisez ses valeurs comme provisoires.
Position, longueur et mise en forme font aussi bouger la note.
L'auto-préférence attire l'attention parce qu'elle ressemble à de la vanité. Les autres penchants sont plus ternes et plus courants, et l'article de 2023 les a mesurés sur 80 questions de son jeu MT-Bench.[2]
Position. Montrez deux réponses à un juge, inversez leur ordre et demandez de nouveau. Un juge constant donne le même verdict les deux fois. GPT-4 l'a fait dans 65,0 % des cas ; GPT-3.5, dans 46,2 % ; Claude-v1, dans 23,8 %, en favorisant la réponse venue en premier dans 75 % des paires. La phrase des auteurs : « Only GPT-4 outputs consistent results in more than 60% of cases. » (en anglais dans l'original ; seul GPT-4 produit des résultats constants dans plus de 60 % des cas). Ils ajoutent que les paires étaient de qualité rapprochée, ce qui est exactement là où l'on voudrait un juge.
| juge (2023) | même verdict après inversion | a favorisé la première position | a favorisé la seconde |
|---|---|---|---|
| GPT-4 | 65,0 % | 30,0 % | 5,0 % |
| GPT-3.5 | 46,2 % | 50,0 % | 1,2 % |
| Claude-v1 | 23,8 % | 75,0 % | 0,0 % |
Le suivi de grande envergure, celui de Shi et coll., a fait tourner 15 juges sur plus de 150 000 jugements et a placé les meilleurs juges de 2024 (GPT-4, Claude-3.5-Sonnet) à 0,82 de constance sur le même banc d'essai, contre 0,57 pour les juges plus faibles. Leur constat sur la cause est celui à retenir : la longueur du prompt compte à peine, l'écart de qualité compte beaucoup. « Answer pairs or series with larger quality disparities are easier to achieve judgment consistency, whereas those of similar quality are difficult to judge. » (en anglais dans l'original ; les paires ou séries de réponses aux écarts de qualité plus grands permettent plus facilement un jugement constant, alors que celles de qualité semblable sont difficiles à juger).[6] Quand deux brouillons se ressemblent, le verdict dépend en partie de l'ordre dans lequel vous les avez présentés.
Longueur. Zheng et coll. ont pris 23 réponses contenant une liste numérotée, ont fait remplir chaque liste par GPT-4 de reformulations qui n'apportaient rien, et ont demandé aux juges de comparer la réponse gonflée à l'original. Claude-v1 et GPT-3.5 ont choisi la version gonflée dans 91,3 % des cas ; GPT-4, dans 8,7 %.[2] En 2026, le portrait avait changé de forme plutôt que disparu : le test d'allongement de Soumik a donné +0,44 pour Llama 3.3-70B et +0,40 pour Gemini 2.5 Pro en faveur de la version plus longue, −0,04 pour GPT-4o et −0,12 pour Claude Sonnet 4, le seul juge qui ait préféré la réponse plus courte.[5]
Mise en forme. C'est le biais que le passage de 2026 a trouvé le plus fort. Devant le même contenu en prose simple et en markdown avec titres et puces, tous les juges ont penché pour le markdown : Gemini 2.5 Pro +0,76, Gemini 2.5 Flash +0,72, Claude Sonnet 4 +0,68, Llama 3.3-70B +0,40, GPT-4o +0,10. Le résumé de l'auteur : « Style bias is the dominant bias. » (en anglais dans l'original ; le biais de style est le biais dominant). Deux annotateurs humains à qui l'on a montré 30 des mêmes paires ont préféré le markdown dans 57 % des cas : une partie de cette préférence est donc partagée avec les gens, et le reste est celle du juge.[5]
La même prépublication rapporte un biais de position de 0,04 ou moins pour les cinq juges présentement en usage et le qualifie de négligeable.[5] Nous testerions quand même plutôt que de présumer : le résultat sur la mise en forme montre qu'un biais peut se déplacer plutôt que disparaître.
Les 85 % de concordance, et ce qu'elle cache.
Le chiffre qui vend les juges IA se trouve chez Zheng et coll. : GPT-4 concordait avec des experts humains dans 85 % des cas sur MT-Bench, « which is even higher than the agreement among humans (81%) » (en anglais dans l'original ; ce qui est même plus élevé que la concordance entre humains (81 %)).[2] Trois choses se cachent dans ce nombre.
Il exclut les égalités. Comptez les paires où l'humain ou le juge a déclaré l'égalité, et la concordance tombe à 66 %, contre 63 % entre humains. Sur les votes recueillis auprès du public sur Chatbot Arena, le schéma se répète : 87 % sans les égalités, 64 % avec. Le chiffre élevé est la part des paires tranchées où GPT-4 s'est rangé du côté de la majorité humaine, et non la part de ses verdicts qui sont justes.
C'est une concordance sur des réponses de clavardage. MT-Bench compte 80 questions ouvertes (rédaction, jeu de rôle, raisonnement, programmation), et les données d'Arena sont ce que les gens ont tapé dans une démo publique. Le chiffre dit que GPT-4 classe les réponses de clavardage comme le fait une majorité de gens. Il ne dit rien de sa capacité à distinguer un total de facture juste d'un total erroné. Sur les 10 questions de mathématiques de l'article lui-même, le juge par défaut a échoué à 70 % des comparaisons ; une réponse de référence a ramené ce taux à 15 %.[2]
C'est le même juge dont la constance de position était de 65 %. Un juge peut concorder avec la majorité humaine sur les paires tranchées et pourtant changer d'avis sur les paires serrées selon l'ordre. Les 85 % décrivent les cas faciles ; le tableau de position décrit les cas difficiles, et le travail que vous prenez la peine de réviser est surtout fait de cas difficiles.
Quoi exécuter à la place, et ce que chaque option coûte.
Acceleratech ne bâtit pas de bancs d'essai. Les petites entreprises, elles, font bel et bien évaluer des brouillons d'IA par des juges IA : un correcteur sur les réponses à la clientèle, un réviseur sur des champs de factures extraits, une étape « est-ce que ça se lit bien » avant la mise en ligne d'une page. Voici comment nous appliquerions les articles à ce genre d'étape. Les étapes sont notre lecture, non les conseils des auteurs, et chacune a un coût que nous indiquons.
- Bâtissez un jeu de bonnes réponses connues et un jeu de mauvaises réponses connues avant la toute première évaluation du juge.
Rassemblez des brouillons qu'une personne de confiance a déjà notés, dont certains sont erronés d'une façon qui compte (un mauvais total, une promesse que vous ne faites pas). Faites-les évaluer par le juge. S'il laisse passer les mauvais, ses 8 et ses 9 ne veulent rien dire. Rapportez deux chiffres : la fréquence de sa concordance avec la personne, et si elle diffère entre les éléments rédigés par une IA et ceux rédigés par un humain, la ventilation qui a démasqué GPT-4 dans l'étude d'Arena.[3] Coût : le temps d'une personne pour étiqueter le jeu, une fois, puis de nouveau quand les brouillons changent de nature. Yang et coll. ont comparé : de 5 000 à 7 500 $ US estimés pour étiqueter à la main la même étape (les réponses de 20 modèles à 100 questions, soit 2 000 notes), contre 77,81 $ US pour les deux modèles évaluateurs.[4]
→ le juge est noté avant de noter - Arrimez-le à une référence, pas à une question de goût.
« Cette réponse est-elle bonne ? » est la surface exposée. « Cette réponse contient-elle les trois faits de la réponse approuvée, et rien de ce que la politique interdit ? » est une comparaison. Chez Zheng et coll., une réponse de référence a fait passer le taux d'échec en évaluation de problèmes de mathématiques de 70 % à 15 %.[2] Yang et coll. ont constaté qu'un choix forcé sur cinq dimensions nommées, plutôt qu'une note globale unique, réduisait l'auto-préférence de 31,5 % en moyenne chez les quatre juges les plus biaisés, et que demander un raisonnement étape par étape l'aggravait parfois.[4] Coût : quelqu'un rédige la référence ou les dimensions, et le prompt s'allonge. Le juge à quelques exemples (few-shot) de l'article de 2023 a fait passer la constance de position de GPT-4 de 65,0 % à 77,5 %, pour quatre fois le coût par appel.[2]
→ la comparaison plutôt que l'opinion, partout où une référence existe - Faites évaluer par un modèle d'une autre famille, et testez celui-là aussi.
La conclusion sur la perplexité dit qu'un juge récompense le texte qui se lit comme le sien : un juge d'un autre fournisseur que celui du rédacteur écarte donc le cas extrême.[3] Il n'élimine pas le penchant : l'étude de 2026 sur 20 juges a trouvé que 17 juges sur 20 étaient biaisés de façon significative, dans un sens ou dans l'autre.[4] Coût : un second compte chez un autre fournisseur, un second prompt à maintenir, et le test de l'étape 1 à refaire. Les résultats du panel inter-familles de Soumik se trouvent dans une annexe vide dans la version que nous avons lue ; nous ne pouvons donc pas vous dire ce qu'apporte un panel.[5]
→ la famille du rédacteur ne note jamais le rédacteur - Pour tout choix entre A et B, demandez deux fois, en inversant l'ordre.
Faites évaluer la paire dans les deux ordres. Un accord signifie que le verdict porte sur les brouillons ; un renversement signifie qu'ils sont rapprochés et que le verdict portait sur l'ordre, ce qui est le moment où Shi et coll. ont constaté que le biais de position mord.[6] Coût : deux fois plus d'appels. Soumik a trouvé le biais de position négligeable chez cinq juges de 2025, et a trouvé que l'inversion coûtait à trois des cinq juges de 6,5 à 11,1 points d'exactitude sur des paires délibérément trompeuses (les deux autres ont bougé de 1,5 et de 4,0 points).[5] Faites donc d'abord passer l'inversion sur votre jeu de bonnes réponses connues ; si le juge y est constant, cessez de la payer.
→ l'ordre est annulé, ou il est démontré qu'il n'importe pas - Retirez la mise en forme et égalisez la longueur avant que le juge ne voie quoi que ce soit.
Convertissez les deux versions en texte brut et ramenez-les à une longueur semblable, puis faites évaluer. Cela retire les deux plus gros penchants relevés en 2026, le markdown et la longueur, au prix d'une étape de prétraitement.[5] Si c'est la mise en forme qui vous importe, jugez-la avec une règle, pas avec un modèle.
→ le juge voit le contenu, pas la mise en page - Gardez une personne sur un échantillon, et choisissez-la avec soin.
Faites lire à quelqu'un une fraction fixe de ce que le juge a laissé passer, chaque semaine, et consignez les désaccords. Les humains aussi sont en désaccord entre eux (81 % sur les paires tranchées chez Zheng et coll.) : choisissez donc la personne dont vous défendriez le verdict devant un client.[2] Coût : les heures de cette personne, pour toujours. C'est la seule vérification ici qui n'hérite pas du goût du juge.
→ la seule vérification sans modèle dedans
Si vous n'en faites que deux, faites la première et la dernière. Un juge qui a laissé passer une mauvaise réponse connue n'est pas un juge, et un juge que personne ne vérifie dérive sans qu'on le remarque. Le test à réponse connue sur votre meilleure page rédigée par un humain de notre note précédente est la version « qualité de rédaction » de l'étape 1.
Ce que cette note ne prétend pas.
Elle ne dit pas que les juges IA sont inutiles. Sur les paires tranchées, GPT-4 concordait avec les experts humains aussi souvent que les experts concordaient entre eux, et une référence a fortement réduit son taux d'échec.[2] L'affirmation, c'est que le verdict d'un juge sur un texte écrit par un modèle, sans référence et sans échantillon humain, est une preuve faible, et que cette faiblesse est mesurable.
Les chiffres d'auto-préférence viennent de modèles plus anciens et de tâches précises. Panickssery et coll. ont utilisé GPT-4, GPT-3.5 et Llama 2 sur des résumés de nouvelles ; Wataoka et coll. ont utilisé des modèles d'Arena de l'époque de 2023. L'étude de 2026 sur 20 juges a trouvé que les juges présentement en usage penchent dans les deux sens, y compris contre leur propre sortie.[4] Le penchant de votre juge pourrait être petit ou inversé, ce qui est une raison de le mesurer.
Les deux sources de 2026 comportent des réserves. L'étude de Yang et coll. est présentée sous la revue Information Sciences, sans statut d'acceptation que nous ayons pu confirmer, et ses étiquettes de qualité viennent de deux autres modèles ; la fiche arXiv de Soumik indique que l'article a été publié dans Transactions on Machine Learning Research (2026), mais nous avons lu la v2 en prépublication, qui a une annexe vide, des exécutions datées d'un an avant sa mise en ligne et quelques chiffres qui diffèrent entre le texte et les tableaux. Nous ne les utilisons que pour l'orientation.
Rien de tout cela n'a été testé sur votre travail. Chaque jeu de données ici est composé de réponses de clavardage en anglais, de résumés de nouvelles ou de questions de banc d'essai. Personne n'a mesuré l'auto-préférence sur l'extraction de factures ni sur des réponses à la clientèle en français. Les vérifications du lundi matin sont conçues pour fonctionner sans cette recherche : elles comparent le juge à des réponses que vous connaissez déjà.
Si un juge IA filtre présentement quelque chose dans l'un de vos flux de travail et que vous voulez savoir ce que vaut son taux de réussite, décrivez-nous l'étape (ni identifiants ni données de clients) par le formulaire de contact. Nous vous répondrons par écrit, gratuitement, avec le jeu de réponses connues que nous bâtirions pour elle et la vérification, parmi les six, que nous exécuterions en premier. Bâtir des étapes de vérification qui mesurent le travail plutôt que le juge fait partie de nos services d'automatisation de flux de travail.