Imaginez une entreprise qui confie à une IA la rédaction de ses pages de services et de ses infolettres, puis demande à une seconde IA de les vérifier avant leur diffusion : « Est-ce que ça se lit bien ? Est-ce mieux que l'ancienne version ? » Le réviseur répond le plus souvent oui. Un billet de septembre 2026 du laboratoire de recherche de Meta suggère que ce oui vaut moins qu'il n'y paraît. Devant un texte d'expert humain et un texte d'IA sur la même tâche, et à qui l'on demandait lequel était meilleur, de puissants juges IA ont choisi le texte d'IA dans 63,5 % à 84,6 % des cas. Munis d'une grille d'évaluation rédigée par une autre IA, ils l'ont choisi à tout coup.
Ce que les juges ont mal jugé.
La tâche d'essai consistait à rédiger une section d'un article scientifique. On remettait à un modèle un article publié solide dont une section avait été retirée (le résumé, l'introduction, les travaux connexes ou la conclusion), et il devait écrire la section manquante à peu près de la même longueur que l'original. La section de l'auteur, mise de côté, servait de réponse d'expert.
Les auteurs ont ensuite demandé à deux modèles puissants, Opus-4.8 et GPT-5.6-sol, de juger de deux des façons les plus courantes. La première est la question par paires : « which version is the better section? Reason step by step, then decide. » (en anglais dans l'original ; quelle version est la meilleure section ? Raisonnez étape par étape, puis décidez). Chaque paire était jugée dans les deux ordres, les textes étant présentés comme A et B, pour annuler toute préférence pour le texte qui vient en premier. Selon le modèle qui écrivait et celui qui jugeait, le juge a préféré la section du modèle à celle de l'expert dans 63,5 % à 84,6 % des cas. La seconde façon est une grille d'évaluation. GPT-5.6 a rédigé un prompt qui génère une grille de notation pour chaque section, et avec ces grilles, la section du modèle obtenait la meilleure note dans 100 % des cas.[1]
Les auteurs expliquent pourquoi. Les grilles d'avant l'apprentissage étaient des listes de vérification de couverture : nommer les affirmations, les méthodes et les résultats de l'article. Elles récompensaient donc un « mini-paper » (en anglais dans l'original ; un mini-article) entassé dans chaque section et pénalisaient l'original humain pour ce qu'il avait délibérément laissé de côté.[1] Un expert qui écrit une introduction choisit ce qu'il ne dira pas, et une liste de vérification ne peut pas noter un choix pour lequel elle n'a pas de ligne. La même chose se produit avec une page de services. Une liste qui demande « mentionne-t-elle chaque service, chaque garantie, chaque ville que nous desservons ? » préférera le brouillon d'IA qui énumère tout à la page écrite par votre meilleur vendeur, celle qui s'ouvre sur le problème qui fait appeler les clients.
Il s'agit d'une défaillance différente des deux dont nous avons déjà parlé. Dans l'étude sur le biais d'étiquette, dire au juge à qui appartenait le travail faisait bouger la note ; ici, le juge devait seulement dire laquelle des deux versions, A ou B, était la meilleure section, et il penchait quand même vers le texte d'IA. Dans l'étude sur l'acceptation excessive, un réviseur acceptait les articles rédigés par machine 1,42 à 1,91 fois plus souvent que ceux des humains, et on l'a corrigé en l'étalonnant sur des exemples adverses. Ce billet corrige plutôt les critères, en les apprenant de l'écriture d'experts.
Ce que récompense une meilleure grille.
Le correctif des auteurs, qu'ils appellent XAR (expert-aligned rubrics en anglais : des grilles alignées sur les experts), transforme la rédaction de grilles en quelque chose de mesurable. On prend des textes humains nettement supérieurs à la moyenne et on découpe chacun en un contexte et une suite. On fait écrire au modèle sa propre suite à partir du même contexte. Chaque paire devient un test : une bonne grille devrait noter le texte humain plus haut. Ensuite, un modèle optimiseur (Kimi-K2.6 dans les exécutions principales) peut réviser le prompt qui génère les grilles. Il voit la version courante, l'ampleur de l'écart humain moins modèle qu'elle produit et les cas où elle s'est trompée d'ordre. On lui demande d'élargir l'écart « for genuine-quality reasons, not superficial tells » (en anglais dans l'original ; pour de vraies raisons de qualité, et non à cause d'indices superficiels), selon les mots des auteurs. Le prompt est plafonné en longueur, si bien que l'optimiseur doit fusionner des critères plutôt que d'en ajouter sans cesse, et la meilleure version parmi les tours est conservée.[1]
Leur essai de faisabilité était modeste : 52 exemples de sections d'article tirés de 13 articles, dont 8 pour optimiser et 5 mis de côté pour vérifier, et 7 tours de révision. Sur les articles mis de côté, l'écart est parti de −4,2 (le texte du modèle obtenait une note nettement supérieure à celle de l'humain), a franchi zéro au tour 4 et a atteint +2,76 (la légende place le sommet au tour 5). Il a bougé des deux côtés : la note moyenne des textes humains est passée de 3,4 à 5,0 pendant que celle du modèle chutait de 7,6 à 2,7.
Ce sur quoi la grille a convergé, c'est ce que vous pouvez transposer à votre propre travail. Au fil des tours, l'optimiseur a réécrit les critères qui notaient mal la prose d'experts : pénaliser l'humain pour des omissions réfléchies, voir de l'aisance dans un résumé comprimé, prendre le fini de surface pour du métier. Les grilles auxquelles il s'est arrêté récompensent une section qui reste dans son propre rôle, avec une sélection soignée, de la concision et des précisions qui appartiennent à la section, plutôt que l'exhaustivité.[1]
| critère | la première grille | la grille apprise |
|---|---|---|
| couverture | récompense la mention de chaque affirmation, méthode et résultat | récompense le choix de ce dont cette section a besoin |
| omission | pénalise l'humain pour ce qu'il a laissé de côté | reconnaît une omission délibérée et réfléchie |
| portée | récompense une miniature du document entier | récompense une section qui fait son propre travail |
| détail | récompense les précisions concrètes que nomme la liste de vérification | récompense la précision sur le sujet propre de la section |
| fini | prend une reformulation fluide pour de la qualité | distingue le fini de surface du métier |
Les exemples que donnent les auteurs de l'écriture du modèle faible correspondent à cette liste : une introduction qui tourne au « mini-paper » (un mini-article), travaux futurs compris ; un résumé bourré de résultats chiffrés dont il n'avait pas besoin ; et, en fiction, des comparaisons toutes faites comme « the air hung over the table like a warm cloth » (en anglais dans l'original ; l'air pesait sur la table comme un linge chaud).[1]
Trois choses dont elle avait besoin.
Les auteurs ont vérifié de quoi la méthode dépend. Trois des conditions valent pour quiconque se sert d'une IA pour juger des textes, qu'il entraîne un modèle un jour ou non.
| condition | ce que rapporte le billet | ce que cela signifie pour vous |
|---|---|---|
| un juge assez fort | Avec Qwen3.5-27B comme juge, même les grilles apprises classaient le modèle au-dessus de l'humain pour les histoires (−0,55) et les sections de Wikipédia (−0,39) ; pour les sections d'article, les quatre juges comparés favorisaient quand même l'humain. « A weak grader is incapable of seeing the gap. » (en anglais dans l'original ; un évaluateur faible est incapable de voir l'écart). | Un modèle bon marché et rapide comme réviseur peut être incapable de voir le problème, quelle que soit la grille que vous lui donnez. |
| de vrais exemples d'experts | Face à GPT-5.6, l'écart de la grille apprise était de +1,39 pour les articles humains de haute qualité, de +0,95 pour ceux de qualité moyenne et de +0,37 pour ceux de faible qualité. | Le test exige un texte que vous défendriez. Plus l'échantillon humain est faible, plus l'écart se réduit ; des pages de faible qualité ne lui donnent presque rien à trouver. |
| une longueur comparable | Sans cible de longueur, les modèles écrivaient des sections de deux à trois fois la longueur humaine, et cette longueur en trop faisait monter leurs notes. Le correctif a été une cible d'environ ±15 % de la longueur humaine. | Comparez des textes de même longueur, sans quoi le réviseur compte en partie les mots. |
Le choix de l'optimiseur comptait aussi : Kimi-K2.6 et Opus 5 ont trouvé un écart positif, et Muse Spark 1.1 a eu du mal. Cela ne vous concerne que si vous essayez d'apprendre vous-même une grille, la dernière option de la section sur l'échec au test.
Les résultats annoncés, lus de près.
Les auteurs ont ensuite entraîné un modèle ouvert de 27 milliards de paramètres (Qwen3.5-27B) avec les grilles apprises. Le résultat vedette, c'est qu'il s'est retrouvé « ahead of every external frontier model » (devant tous les modèles de pointe externes) pour les sections d'article, avec une note de 9,60, la plus basse de ses trois notes de grille, l'original humain valant 10.[1] Lisez-le avec trois précautions.
La méthode est notée avec ses propres grilles. Les grilles d'évaluation sortent de la même boucle, et le modèle a été entraîné avec deux des trois jeux de grilles. Les auteurs le reconnaissent, « still potentially biased towards our model » (en anglais dans l'original ; encore potentiellement biaisé en faveur de notre modèle), et limitent les dégâts en utilisant un autre juge pour la notation et en retenant la pire des trois notes de grille. C'est soigneux, mais ce n'est pas un classement indépendant, et nous ne le présentons pas comme tel dans un graphique.
Les vérifications humaines sont modestes, et elles comparent au modèle de départ, pas aux modèles de pointe. Dans des comparaisons côte à côte à l'aveugle, le modèle entraîné a été préféré 16 contre 2 pour les sections d'article (jugées par les auteurs sur leurs propres articles) et 19 contre 1 pour les suites d'histoires, face au modèle de 27 milliards de paramètres non entraîné. Cela fait 18 et 20 jugements. L'affirmation de battre les modèles de pointe repose uniquement sur les notes de grille.
Cela n'a pas fonctionné partout. Pour les sections de Wikipédia, le modèle entraîné est passé de 2,7 à 4,0, encore bien en dessous de chaque rédacteur de pointe (GPT-5.6 à 7,9, Claude 5 Opus et Muse à 7,2). Les auteurs l'attribuent en partie au juge employé à l'entraînement, qu'ils ont trouvé trop faible comme évaluateur. Et une seule grille apprise pouvait être contournée : après le premier tour d'entraînement, le modèle obtenait 11,0 avec la grille du premier tour, mais 7,0 avec celle du second, sous les 10,4 du modèle non entraîné. (Une note supérieure à 10 signifie que le texte dépasse l'humain selon le décompte propre à cette grille ; le billet ne la concilie pas avec son échelle où l'humain vaut 10.) Le second tour l'a rétabli. Une grille sur laquelle votre rédacteur a été réglé cesse de mesurer la qualité et se met à mesurer la conformité à cette grille, ce qui explique que les auteurs la réapprennent sans cesse.
Le test à réponse connue, avant de vous fier à un réviseur.
Pas besoin du volet entraînement pour utiliser le volet évaluation. L'expérience de départ du billet sert aussi de test que n'importe qui peut faire passer à sa propre étape de révision par IA : lui donner une paire dont vous connaissez déjà la réponse, et voir si elle la trouve.
- Choisissez une page que vous défendriez.
Le meilleur texte écrit par une personne (page, courriel ou publication) : celui qui vous a valu des mandats, ou qu'un client vous a déjà cité. Les données mêmes du billet montrent l'écart qui rétrécit à mesure que l'échantillon humain s'affaiblit, au plus bas pour les textes de faible qualité ; n'utilisez donc pas une page de remplissage.
→ une réponse connue - Faites écrire la même chose par l'IA à partir de la même consigne.
Donnez au modèle la consigne dont l'humain est parti, et non le texte humain, et demandez la même longueur. Si le brouillon revient beaucoup plus long, raccourcissez-le ou redemandez : un texte plus long l'emporte par sa seule longueur.
→ une paire équitable, même tâche, même longueur - Interrogez votre réviseur, deux fois, à l'aveugle.
Utilisez exactement le prompt de votre flux de travail. Lancez-le une fois avec la page humaine en premier et une fois avec le brouillon d'IA en premier. Retirez les noms, les noms de fichiers et tout ce qui indique qui a écrit quoi ; une étiquette seule fait bouger la note d'un juge IA, comme l'a montré la note sur le biais d'étiquette.
→ deux verdicts, l'effet d'ordre annulé - Lisez le résultat, puis recommencez avec quelques autres paires.
S'il préfère le brouillon d'IA les deux fois, son « ça se lit bien » n'est pas une preuve de qualité. Une seule paire est une anecdote ; nous en ferions passer plusieurs avant de nous fier à une réussite. Refaites le test chaque fois que vous changez le modèle ou le prompt du réviseur.
→ vous savez ce que vaut le oui du réviseur
Si votre réviseur échoue au test.
Un test échoué signifie le plus souvent que l'on pose la mauvaise question à l'étape de révision par IA. Trois gestes, du moins coûteux au plus exigeant :
Posez-lui des questions auxquelles elle peut répondre. Un réviseur IA reste utile pour les vérifications qui ont une bonne réponse : chaque chiffre correspond-il à la source, tous les champs obligatoires y sont-ils, y a-t-il un mot de la liste des mots interdits, la longueur est-elle dans la plage, la version française dit-elle la même chose. Confiez les vérifications mécaniques (longueur, champs obligatoires, mots interdits) à des contrôles que le logiciel exécute lui-même. « Est-ce de la bonne écriture ? » est l'échelon « opinion d'une IA » de l'échelle de vérification de la note sur le guide d'exécution, et d'après ces données, c'est l'échelon le plus faible pour des textes de communication.
Mettez les critères appris dans le prompt. Si vous gardez un réviseur chargé de juger la qualité, cessez de lui demander de confirmer la couverture. Posez-lui les questions du tableau plus haut : ce texte reste-t-il dans son propre rôle, a-t-il omis ce qu'il devait omettre, chaque chiffre est-il nécessaire, un lecteur pourrait-il retrancher quelque chose sans perdre de sens. Puis refaites le test à réponse connue, car un prompt qui sonne mieux n'est pas la preuve d'un meilleur juge. Une mise en garde de notre part : les critères du tableau ont été rapportés pour des sections d'article scientifique, en anglais. Le billet a aussi appris des grilles pour des histoires et des sections de Wikipédia, mais n'en donne pas les critères, et personne n'a montré que l'une d'elles se transpose à des textes en français ni à des pages de vente ; testez donc avant de vous y fier.
Apprenez une grille sur vos propres textes. La boucle d'apprentissage de grille fonctionne sans aucun entraînement de modèle. Réunissez des paires de votre meilleur texte humain et d'un brouillon de modèle pour la même consigne, faites réviser par un modèle puissant un prompt de grille plafonné en longueur jusqu'à ce que la grille note le texte humain plus haut, puis vérifiez-la sur des paires qu'elle n'a pas vues. Le résultat serait un réviseur réglé sur votre propre norme. Nous ne l'avons pas fait, et rien dans le billet ne montre que cela fonctionne à l'échelle d'une petite entreprise ou avec une poignée d'exemples ; traitez-le comme une expérience, non comme une pratique. Dans tous les cas, gardez une personne comme validation finale de tout ce que lit un client.
Ce que cette note ne prétend pas.
Elle ne dit pas que l'écriture d'IA est toujours moins bonne, ni que les juges IA ont toujours tort. Le constat est plus étroit : sur une tâche, deux juges puissants ont classé l'écriture d'un modèle de pointe au-dessus de celle d'experts humains, et une grille générée a aggravé les choses. C'est pourquoi le test utilise une paire dont vous savez déjà quel texte est meilleur : un juge qui se trompe sur une réponse connue n'a pas mérité votre confiance sur les paires où vous ne savez pas.
Un billet de blogue, pas d'article scientifique. Chaque chiffre vient de l'exécution des auteurs eux-mêmes, rapportée sur une seule page et non reproduite. Les taux d'échec des juges viennent d'une seule tâche (des sections d'article scientifique) avec deux modèles comme rédacteurs et comme juges. L'exécution d'apprentissage de grille a porté sur 13 articles. Les graphiques du billet étaient des images que nous n'avons pas pu lire, et nous n'avons donc utilisé que les chiffres donnés dans son texte et ses légendes.
Le classement n'est pas indépendant. Les résultats qui placent le modèle devant tous les modèles de pointe sont notés sur les grilles apprises de la méthode elle-même, ce qui, de l'aveu des auteurs, biaise le classement, et les vérifications humaines à l'aveugle (18 et 20 jugements) comparent le modèle entraîné uniquement à son propre point de départ.
Le volet entraînement n'est pas un conseil. Acceleratech n'entraîne pas de modèles de rédaction et ne recommande pas le dispositif d'entraînement des auteurs. Le volet que nous utilisons est celui de l'évaluation : testez d'abord le juge sur une réponse connue.
Si vous faites réviser vos textes par une étape d'IA et voulez savoir ce que vaut son approbation, décrivez-nous le flux de travail (ni identifiants ni données de clients) par le formulaire de contact. Nous vous répondrons par écrit, gratuitement, en vous indiquant comment nous monterions le test à réponse connue pour lui. Bâtir des étapes de révision qui vérifient ce qu'elles peuvent réellement vérifier fait partie de nos services d'automatisation de flux de travail.