La plupart des logiciels que fait rouler une PME ont été conçus pour une personne devant un écran : le portail du fournisseur, le vieux logiciel de comptabilité, le formulaire gouvernemental. Un agent IA capable de se servir de ces écrans comme le ferait un employé, en regardant et en cliquant, y accéderait sans attendre que quelqu'un construise une intégration. L'équipe Qwen d'Alibaba, avec le Xlang Lab, a publié un compte rendu détaillé de ce qu'exige un agent de ce type : un rapport technique sur Qwen-CUA, un agent qui ne voit que des captures d'écran et n'agit que par la souris et le clavier.[1] Les résultats aux bancs d'essai sont solides. Le résultat le plus utile se trouve vers la fin : quand l'équipe a donné à l'agent un outil plus rapide en plus de l'écran, il a réussi moins de tâches.
Un agent qui se sert de l'écran comme un employé.
L'utilisation « native » de l'ordinateur (native computer use, le terme du rapport), au sens strict, veut dire que l'agent reçoit ce que reçoit une personne à son poste de travail, et rien de plus : une capture d'écran en entrée, une action de souris ou de clavier en sortie. Pas de code de la page, pas d'arbre d'accessibilité, pas de terminal (shell), pas d'API propre à la tâche.[1] L'intérêt pour une entreprise, c'est la portée. Tout ce qu'une personne peut faire à l'écran, l'agent peut au moins essayer de le faire, y compris des logiciels qui n'auront jamais d'intégration.
Sous le capot, on trouve un modèle à mélange d'experts de 397 milliards de paramètres (environ 17 milliards actifs à la fois), entraîné à l'aide de quelque 40 000 tâches conçues pour que leur résultat soit vérifiable automatiquement, sur une infrastructure qui donne accès à près de 100 000 processeurs virtuels.[1] Sur OSWorld-Verified, un test courant de tâches de bureau ordinaires, l'équipe rapporte 86,2, contre 83,4 pour Claude Opus 4.8 et 78,7 pour GPT-5.5 dans le même tableau. Sur les sept tests de capacités de ce tableau, Qwen-CUA obtient le meilleur score à deux (OSWorld-Verified et MacAgentBench), Claude Opus 4.8 à quatre (dont MyPCBench, le test de bureau personnel utilisé plus bas), et GPT-5.5 à un seul.[1] Lisez ce classement comme le rapport d'un seul fournisseur sur des tests qu'il a choisis. L'échelle est l'autre leçon : ce n'est pas un projet de fin de semaine, et, comme la suite le montre, ceux qui l'ont construit disent qu'il a sa place dans un agent hybride.
L'outil plus rapide qui a fait pire.
MyPCBench plonge un agent dans un ordinateur personnel simulé : un bureau Ubuntu avec 17 applications web, une suite bureautique, les fichiers de l'utilisateur et un historique qui les relie, pour 184 tâches en tout.[1] L'équipe a exécuté les mêmes tâches de deux façons : avec l'écran seul, et avec un outil Bash en plus, pour que l'agent puisse taper des commandes directement dans le système d'exploitation quand c'est plus rapide que de cliquer.[1]
Quand l'équipe Qwen a fait passer elle-même le test MyPCBench, l'ajout d'un outil en ligne de commande Bash a ramené le nombre moyen de tours par tâche de Qwen-CUA de 63,6 à 49,1 et fait reculer son score aux tâches de 58,7 % à 55,1 %. Il en va de même pour Qwen3.7, le modèle Qwen que le rapport utilise comme modèle de référence : les tours sont passés de 69,3 à 53,4, et le score de 51,6 % à 41,8 %. Le rapport appelle ce score « task performance » (en anglais dans l'original ; performance sur les tâches) ; ses valeurs avec l'écran seul correspondent au taux strict qu'il définit ailleurs, la proportion de tâches réussies à la perfection, avec tous les critères d'évaluation remplis, et c'est ainsi que nous le lisons.[1]
L'explication de l'équipe est précise : ses modèles « have not yet fully learned when to switch between native computer use and command-line execution » (en anglais dans l'original ; n'ont pas encore tout à fait appris quand passer de l'utilisation native de l'ordinateur à l'exécution en ligne de commande), et « unnecessary or poorly timed switches can reduce task completion » (en anglais dans l'original ; des changements inutiles ou faits au mauvais moment peuvent réduire le taux d'achèvement des tâches).[1] L'équipe y voit un écart d'optimisation plutôt qu'un défaut de l'idée hybride, et juge qu'il reste de la place pour qu'un entraînement axé sur le choix des outils récupère la perte tout en gardant les parcours plus courts.[1] C'est possible. Ce qu'elle a mesuré, aujourd'hui, sur ses propres modèles, c'est qu'un outil plus rapide, sans le jugement pour s'en servir, a coûté du travail mené à terme.
Pourquoi c'est important avant d'automatiser.
Quand un agent peine, le réflexe est de lui donner plus : une autre intégration, un autre outil, une voie plus rapide. Ce résultat dit que chaque outil ajoute aussi un choix que l'agent doit réussir à chaque étape, et qu'un mauvais choix peut coûter plus que ce que l'outil fait économiser. Deux modèles sur un seul banc d'essai, c'est une preuve mince, mais cela concorde avec le conseil que nous donnons déjà : commencer par la chose la plus simple qui fait le travail et ajouter les capacités une à une, en mesurant au fur et à mesure. Notre note sur l'ordre dans lequel l'autonomie se mérite en fait le tour. Nous en tirons trois habitudes ; le rapport ne les propose pas.
- Ajoutez un outil à la fois, et relancez les mêmes tâches.
Gardez un ensemble fixe de tâches réelles tirées de votre propre travail. Soumettez-le à l'agent avant et après chaque nouvel outil ou chaque nouvelle intégration. Si l'agent est devenu plus rapide mais réussit moins de tâches, l'outil n'est pas prêt, ou l'agent ne sait pas encore quand y recourir.
→ le jeu de tests ne change pas ; seul l'outil change - Comptez les tâches réussies, pas les étapes.
Sur un tableau de bord, des exécutions plus courtes ressemblent à du progrès. Dans ce rapport, des exécutions plus courtes allaient de pair avec moins de tâches menées à terme. Suivez le nombre de tâches qui atteignent un état final correct, et traitez la vitesse comme le deuxième chiffre.
- Écrivez quand utiliser chaque outil.
Un agent choisit ses outils en partie d'après leurs descriptions. Indiquez donc les cas que chacun couvre et ceux qu'il ne couvre pas : « utilisez la ligne de commande pour déplacer ou renommer des fichiers ; utilisez l'écran pour tout ce qui se passe dans le logiciel de comptabilité ». C'est le choix que, selon l'équipe Qwen, ses modèles n'avaient pas appris, et vous pouvez en écrire une partie. La description est l'une des quatre parties d'un outil dans notre note sur WebMCP.
Les pixels sont la solution de repli, pas la voie rapide.
La conclusion même du rapport est la phrase qui mérite le plus l'attention d'un propriétaire d'entreprise : « Generality, however, does not imply optimality. » (en anglais dans l'original ; la généralité n'implique pas l'optimalité).[1] Lire l'écran, raisonner et faire un clic à la fois est lent et coûteux, et l'équipe dit sans détour que le travail à l'écran « is also inefficient when a task can be expressed directly through code, shell commands, or structured APIs » (en anglais dans l'original ; est aussi inefficace quand une tâche peut s'exprimer directement par du code, des commandes shell ou des API structurées). Elle recommande un agent hybride qui utilise le code pour le travail précis et à grand volume, des outils structurés quand ils existent, et l'écran « whenever a visual or closed interface must be operated » (en anglais dans l'original ; chaque fois qu'il faut faire fonctionner une interface visuelle ou fermée). L'équipe appelle l'utilisation native de l'ordinateur « the universal grounding and fallback layer of a hybrid agent » (en anglais dans l'original ; la couche universelle d'ancrage et de repli d'un agent hybride), et non l'interface unique.[1]
C'est le concepteur d'un agent qui pilote l'écran qui dit de ne pas en utiliser un pour tout. Pour un propriétaire qui décide quoi automatiser, cela trie le travail : si un système a une API ou une fonction d'exportation de données, servez-vous-en, et gardez l'agent qui pilote l'écran pour les portails et les logiciels plus anciens qui n'ont ni l'une ni l'autre. Notre note sur WebMCP traite l'autre moitié de la même décision : des sites web qui déclarent des outils pour que les agents n'aient pas à piloter l'écran du tout.
Le rapport plaide aussi pour l'efficacité de son propre modèle, et il demande une lecture attentive. Sur OSWorld-Verified, Qwen-CUA a atteint 86,2 en utilisant environ 3 606 jetons de sortie par tâche, soit le texte que le modèle écrit pendant qu'il raisonne et agit, ce qui, selon le rapport, détermine surtout le coût et le temps d'attente. L'équipe rapporte que Claude Opus 4.8 a atteint 80,0 « at a similar budget » (en anglais dans l'original ; avec un budget similaire) et 83,3 quand il a utilisé 21 800 jetons (83,4 dans le tableau principal du rapport, 83,3 dans son passage sur l'efficacité).[1] Ce que cette comparaison permet d'affirmer est étroit. La conclusion que le rapport en tire lui-même est que le gain de Qwen-CUA « does not simply result from more verbose reasoning » (en anglais dans l'original ; ne tient pas simplement à un raisonnement plus verbeux). Seuls les jetons de sortie sont comptés ; les captures d'écran que l'agent lit à chaque tour n'y figurent pas, ce n'est donc pas une comparaison du coût par tâche.
C'est sur le nombre de tours qu'il faut se méfier. Sur OSWorld 2.0, plus difficile, Qwen-CUA a fait en moyenne 218,9 tours par tâche, contre 83,5 pour GPT-5.5 et 105,7 pour Opus 4.8, et l'équipe prévient elle-même que la mesure n'est pas comparable d'un agent à l'autre : les deux agents propriétaires peuvent regrouper plusieurs actions en un seul tour, tandis que Qwen-CUA fait une action par tour.[1] Ni « plus lent » ni « plus rapide » ne découle de ces chiffres. Si quelqu'un vous vend un nombre de tours comme argument de vitesse, demandez ce que contient un tour.
Le choix de l'agent fait la différence.
Un agent qui lit des écrans lit tout ce qui s'y trouve, y compris du texte que quelqu'un y a glissé à son intention. C'est ce qu'on appelle l'injection de prompt indirecte : des instructions cachées dans une page web, un fichier partagé ou un message de clavardage, que l'agent prend pour ses ordres. Le rapport la teste avec RedTeamCUA, un banc d'essai qui glisse de telles instructions dans des tâches réparties sur une application de partage de fichiers (ownCloud), une messagerie d'équipe (Rocket.Chat) et un forum (Reddit), et qui relève deux chiffres : à quelle fréquence l'agent mène quand même à bien la vraie tâche, et à quelle fréquence l'attaque réussit.[1]
Qwen-CUA a fait passer le taux de réussite des attaques de 36,6 % pour le modèle de référence Qwen3.7 à 16,4 %, une vraie amélioration, et un résultat proche de celui de GPT-5.5 (15,6 %). Dans le même tableau, celui du fournisseur lui-même, Claude Opus 4.8 se situe à 0,7 % tout en menant à terme le plus de vraies tâches, soit 80,7 %.[1] Selon l'équipe, Opus 4.8 « remains strongest on both metrics » (en anglais dans l'original ; reste le plus solide sur les deux mesures), son propre 16,4 % « indicates residual risk » (en anglais dans l'original ; indique un risque résiduel), et le banc d'essai montre une résistance améliorée, « not a deployment-safety guarantee » (en anglais dans l'original ; pas une garantie de sécurité en déploiement).[1]
Deux mises en garde s'imposent pour bien lire ce tableau. La plateforme de clavardage est difficile pour tous les agents (Qwen-CUA a mené à terme 32,6 % de ces tâches), et l'équipe note qu'un agent qui n'arrive pas à agir n'arrive pas non plus à suivre les instructions glissées ; un faible taux d'attaque y relève donc en partie de l'échec, pas de la résistance.[1] Et il s'agit d'un seul banc d'essai, dans le rapport d'un seul fournisseur.
Pour une entreprise, la leçon utile porte sur la liste de vérification. La résistance aux instructions glissées peut différer de plus d'un ordre de grandeur entre des agents qui se ressemblent aux tests de capacité ; elle a donc sa place sur la liste de vérification, à côté de la justesse et du prix. Demandez à un fournisseur les résultats de ses tests d'injection, avec le banc d'essai et la date. Faites approuver par une personne les actions lourdes de conséquences : dans la démonstration de navigateur du rapport, l'agent demande à l'utilisateur de confirmer avant les opérations lourdes de conséquences.[1] Nos notes sur les prompts de configuration écrits pour votre IA et sur les agents qui s'infectent entre eux traitent de la même exposition sous d'autres angles.
Ce que cette note ne prétend pas.
Tous les chiffres sont ceux du fournisseur. L'équipe Qwen a construit le modèle, choisi les bancs d'essai et compilé la comparaison ; de son propre aveu, la plupart des scores des concurrents viennent de rapports officiels, pas de ses propres exécutions. Rien ici n'a été reproduit de façon indépendante.
Le résultat sur Bash est étroit. Deux modèles Qwen, un seul banc d'essai, une seule façon d'ajouter l'outil, et des auteurs qui jugent que l'entraînement pourrait combler l'écart. Cela montre qu'un outil plus rapide peut coûter des tâches menées à terme, pas qu'il le fera toujours. Le rapport ne donne aucun écart d'une exécution à l'autre ; la baisse de 3,6 points pour Qwen-CUA indique donc une direction ; son ampleur reste incertaine.
Les nombres de tours ne se comparent pas d'un fournisseur à l'autre. Les agents propriétaires regroupent des actions par tour et Qwen-CUA ne le fait pas. Le rapport le dit lui-même.
Le tableau de sécurité n'est pas une cote de sécurité. RedTeamCUA mesure un seul type d'attaque sur trois plateformes. Les auteurs qualifient le résultat de « not a deployment-safety guarantee » (en anglais dans l'original ; pas une garantie de sécurité en déploiement), et les faibles taux d'attaque sur la plateforme de clavardage reflètent en partie des tâches échouées.
Aucun dossier client. Nous n'avons pas déployé Qwen-CUA, et le rapport décrit son déploiement dans le navigateur comme interne, sans dire si l'agent est offert à des utilisateurs externes. Les trois habitudes ci-dessus sont notre pratique, pas des constats du rapport.
Vous vous demandez si un agent pourrait prendre en charge le travail dans un portail de fournisseur ou un logiciel de bureau plus ancien ? Décrivez le système par le formulaire de contact et vous recevrez gratuitement une première analyse écrite : d'abord s'il existe une voie par API, puis où un agent qui pilote l'écran trouverait sa place. Ce type de réalisation fait partie de notre travail en assistants et agents.