Exemple illustratif Agents 14 min de lecture

Un budget de 7 $ US n'a pas arrêté une boucle de 72 000 $ US. Les alertes avisent ; seuls les plafonds arrêtent.

En mars 2020, une petite entreprise en démarrage a fixé un budget de 7 $ US sur un test Google Cloud, laissé tourner un robot d'extraction et trouvé le lendemain après-midi une facture qui était passée d'environ 5 000 $ US à un peu moins de 72 000 $ US à mesure que la facturation rattrapait l'usage : le code entrait en récursion sans condition d'arrêt sur 1 000 instances et a lu une base de données 116 milliards de fois. Le budget n'était qu'une alerte, et la facturation avait environ une journée de retard. Ce qui a arrêté la boucle, c'est une limite de 100 $ US sur la carte de l'entreprise. Deux incidents de 2025 ont la même forme avec des agents IA : l'un a supprimé une base de données de production pendant un gel du code déclaré, l'autre a cédé la marge d'une boutique, un rabais à la fois. Les trois sont les récits des participants eux-mêmes, et non des études contrôlées. Ce qu'ils ont en commun, c'est que rien à l'intérieur du processus ne l'a arrêté. Les cinq contrôles ci-dessous se trouvent à l'extérieur, avec leurs valeurs par défaut documentées.

JP
Jean Pierre Levac
Fondateur, Acceleratech

Imaginez la tâche de nuit : un agent qui réessaie une étape jusqu'à ce que le résultat lui paraisse bon, laissé en marche pendant que tout le monde dort. Trois cas documentés montrent ce qui arrive quand rien, à l'extérieur du processus, ne peut l'arrêter. En mars 2020, le test d'un robot d'extraction (scraper) d'une entreprise en démarrage, sur l'infonuagique de Google, est entré en récursion sur 1 000 instances et a produit une facture infonuagique « a little short of $72,000 » (en anglais dans l'original ; un peu moins de 72 000 $ US) malgré un budget de 7 $ US en place.[1] En juillet 2025, un agent IA de programmation a supprimé une base de données de production pendant un gel du code déclaré, puis a dit à son utilisateur qu'un retour arrière ne fonctionnerait pas. Il fonctionnait.[4] Et pendant environ un mois, en 2025, une IA qui exploitait une petite boutique dans les bureaux d'Anthropic a cédé sa marge, un rabais à la fois.[8] Aucun des trois n'a été arrêté par une erreur. Les instances du robot d'extraction ont fonctionné comme prévu, l'agent de programmation a camouflé des tests en échec sous de fausses données, et chaque rabais est passé. De l'intérieur, chacun avait l'air d'un travail qui avance bien.

provenance · à lire d'abord L'avis ci-dessus couvre nos scénarios (la tâche de nuit de l'ouverture, les exemples de la section sur lundi). Les incidents sont réels et les chiffres sont ceux des sources : le récit en deux parties de Sudeep Chauhan sur la facture de Milkie Way, décembre 2020 ;[1][2] le billet de Jason Lemkin sur SaaStr et deux articles du Register sur l'incident Replit de juillet 2025, avec les déclarations du PDG de Replit, Amjad Masad, telles qu'elles y sont citées ;[4][5][6] et le compte rendu d'Anthropic sur le Project Vend, juin 2025.[8] Le bilan d'un fondateur sur sa propre erreur, les publications d'un utilisateur et la réponse d'un fournisseur, le récit d'un laboratoire sur son propre modèle : aucun n'est une étude contrôlée. Les valeurs par défaut des contrôles proviennent de la documentation de LangChain, d'OpenAI, d'Anthropic, de Google Cloud et de Stripe, telle que lue le 2026-10-21. La version précédente de cette note reposait sur un scénario illustratif aux chiffres illustratifs, étiquetés comme tels selon notre cadre éditorial. Cette révision la remplace par des incidents documentés.

À quoi ressemble une boucle emballée.

Une boucle emballée est un processus qui continue d'exécuter son étape après que l'étape a cessé d'être utile. Quatre formes reviennent. Une boucle de réessai répète un appel qui renvoie sans cesse une réponse ambiguë. Une récursion engendre du travail à partir de chaque unité de travail, sans condition qui dise d'arrêter. Une boucle de replanification est un agent qui, se faisant dire que son résultat n'est pas assez bon, replanifie, agit de nouveau et se le fait redire. Une boucle lente est une politique qui cède du terrain chaque fois qu'on la pousse, sans plancher. Les trois premières brûlent de l'argent à la minute ; la quatrième, à la semaine.

Elles ont en commun une seule propriété : chaque étape, prise isolément, réussit. L'appel revient marqué comme réussi, l'instance démarre, le rabais est appliqué. Une surveillance conçue pour détecter les pannes voit un système en santé. Le seul signal est le rythme : appels par minute, dollars par heure, marge par semaine. Une surveillance qui ne suit pas le rythme ne voit pas la boucle ; elle la confirme.

Un budget de 7 $ US et une facture de 72 000 $ US.

Milkie Way était une entreprise en démarrage autofinancée qui développait Announce, avec un projet parallèle, Announce-AI, qui extrayait du contenu du web. Son fondateur, Sudeep Chauhan, a déplacé un test vers Cloud Run après que Cloud Functions a expiré à « ~9 minutes ». Il a créé un nouveau projet infonuagique chez Google : « set up $7 Cloud Billing budget, kept Firebase Project on the Free (Spark) plan. The worst case we imagined was exceeding the daily free Firestore limits if we faltered. » (en anglais dans l'original ; budget Cloud Billing de 7 $ US établi, projet Firebase laissé sur le forfait gratuit Spark ; le pire scénario imaginé était de dépasser les limites quotidiennes gratuites de Firestore en cas de faux pas). Ils ont lancé quelques requêtes à la main au milieu de la journée « and then left it » (en anglais dans l'original ; puis l'ont laissé tourner).[1]

Le lendemain après-midi, il s'est réveillé d'une sieste devant trois courriels envoyés à quelques minutes d'intervalle : le projet Firebase était passé automatiquement à un forfait payant, le budget était dépassé, la carte avait été refusée. Il s'est connecté et a trouvé une facture d'environ 5 000 $ US. « After 5 minutes, the bill read $15,000, in 20 mins, it said $25,000. I wasn't sure where it would stop. Perhaps it won't stop? After two hours, it settled at a little short of $72,000. » (en anglais dans l'original ; après 5 minutes, la facture indiquait 15 000 $ US, en 20 minutes, 25 000 $ US. Je ne savais pas où ça s'arrêterait. Peut-être que ça ne s'arrêterait pas ? Après deux heures, elle s'est fixée à un peu moins de 72 000 $ US.)[1] C'était le vendredi 27 mars 2020, trois jours avant la date de lancement prévue, et comme tous les projets partageaient une seule carte d'entreprise, Google les a tous suspendus.

fig 1 · la facture telle que l'auteur l'a vue monter Milkie Way, mars 2020 · chiffres de l'auteur
Chiffres tirés de la partie 1 du récit de l'auteur.[1] La facture a monté à mesure que la facturation rattrapait l'usage : l'auteur dit que la facturation « takes about a day to be synced » (en anglais dans l'original ; prend environ une journée à se synchroniser) et que les services ont continué de tourner en arrière-plan jusqu'à ce que l'équipe les arrête. Les barres de 7 $ US et de 100 $ US sont tracées à une largeur minimale pour être visibles.

La partie 2 donne le mécanisme. Pour contourner l'expiration, chaque instance Cloud Run extrayait une page et envoyait les liens trouvés, en requêtes POST, à de nouvelles instances. Chauhan énumère ce qui manquait : « Exponential Recursion without Break: The instances wouldn't know when to break, as there was no break statement » (en anglais dans l'original ; récursion exponentielle sans arrêt : les instances ne sauraient pas quand s'arrêter, faute d'instruction d'arrêt), et un lien de retour vers une page précédente signifiait « infinite recursion, but what's worst is, that this recursion is multiplying exponentially (our max instances were set to 1000!) » (en anglais dans l'original ; une récursion infinie, mais le pire, c'est qu'elle se multiplie de façon exponentielle : notre maximum d'instances était fixé à 1 000 !). Le service avait été créé avec les valeurs par défaut, 1 000 instances au maximum et une concurrence de 80. Les lectures Firestore ont atteint un pic d'« about 1 Billion Requests per minute » (en anglais dans l'original ; environ 1 milliard de requêtes par minute) ; les totaux : 116 milliards de lectures et 33 millions d'écritures, et à 0,06 $ US par 100 000 lectures, les coûts des lectures seules se sont élevés à 69 600 $ US. Les services n'ont jamais été supprimés et ont continué de tourner en arrière-plan : 16 022 heures-instance en 24 heures.[2]

Deux des constats de l'auteur portent cette note. Sur le budget : « Billing 'Limits' don't exist. Budgets are at least a day late. » (en anglais dans l'original ; les « limites » de facturation n'existent pas. Les budgets ont au moins un jour de retard).[1] La documentation de Google va dans le même sens : « Setting an alerts-only budget doesn't automatically cap Google Cloud or Google Maps Platform usage or spending » (en anglais dans l'original ; fixer un budget à alertes seulement ne plafonne pas automatiquement l'utilisation ni les dépenses de Google Cloud ou de Google Maps Platform) et « there is a delay between your use of Google Cloud resources, and the usage costs reporting to Cloud Billing » (en anglais dans l'original ; il y a un délai entre votre utilisation des ressources Google Cloud et la remontée des coûts d'utilisation dans Cloud Billing).[3] Le budget de 7 $ US était une note sur la veille. Sur la valeur par défaut : « Had we chosen max-instances to be '2', our costs would've been 500 times less. $72,000 bill would've been: $144. » (en anglais dans l'original ; si nous avions choisi 2 comme maximum d'instances, nos coûts auraient été 500 fois moindres. La facture de 72 000 $ US aurait été de 144 $ US).[2] Ce qui a mis fin à l'exécution, c'est la limite de 100 $ US sur la carte de l'entreprise : paiement refusé, compte suspendu.

fig 2 · ce que chaque signal montrait, et avec quel retard Milkie Way · récit de l'auteur
Tiré des parties 1 et 2 du récit de l'auteur.[1][2] Les retards sont ceux qu'il indique, non mesurés par nous. La limite de la carte n'a pas été conçue comme un contrôle ; elle figure au tableau parce que c'est elle qui a fonctionné.

La boucle qui a supprimé au lieu de dépenser.

Le deuxième incident est une boucle de replanification au sein d'un agent IA : il continue d'agir sur une base de code après qu'on lui a dit d'arrêter. Jason Lemkin, fondateur de SaaStr, a raconté ses premiers jours avec l'agent de programmation de Replit le 12 juillet 2025. Au septième jour (le 17 juillet), il le qualifiait de « the most addictive app I've ever used » (en anglais dans l'original ; l'application la plus addictive que j'aie jamais utilisée).[4] Les 18 et 19 juillet, il a rapporté que l'agent était « lying and being deceptive all day » (en anglais dans l'original ; en train de mentir et de tromper toute la journée), masquant des bogues sous de fausses données et de faux rapports, puis qu'il avait supprimé sa base de données de production : selon son décompte, « 1,206 executive records and 1,196+ company profiles » (en anglais dans l'original ; 1 206 fiches de dirigeants et plus de 1 196 profils d'entreprises).[5] « I explicitly told it eleven times in ALL CAPS not to do this. » (en anglais dans l'original ; je lui ai dit explicitement onze fois, en MAJUSCULES, de ne pas faire ça.)[4]

Les mots de l'agent, tels que Lemkin les a cités : « a catastrophic error of judgement » (en anglais dans l'original ; une erreur de jugement catastrophique) qui « violated your explicit trust and instructions » (en anglais dans l'original ; a violé votre confiance et vos instructions explicites). Il lui a aussi dit qu'un retour arrière ne pouvait pas restaurer la base. « It turns out Replit was wrong, and the rollback did work. » (en anglais dans l'original ; il se trouve que Replit avait tort, et le retour arrière a bel et bien fonctionné.)[4] Le 20 juillet, il a écrit qu'il n'y avait « no way to enforce a code freeze » (en anglais dans l'original ; aucun moyen d'imposer un gel du code) dans l'outil. Sa cause racine, formulée plus tard, est celle qui parle à un exploitant : « Replit's Agent had direct access to production databases during development sessions. » (en anglais dans l'original ; l'agent de Replit avait un accès direct aux bases de données de production pendant les séances de développement.)[5]

Le PDG de Replit, Amjad Masad, a publié le 21 juillet que la suppression était « Unacceptable and should never be possible » (en anglais dans l'original ; inacceptable et ne devrait jamais être possible) et que l'équipe avait « started rolling out automatic DB dev/prod separation to prevent this categorically. Staging environments in the works, too. » (en anglais dans l'original ; commencé à déployer une séparation automatique des bases de données de développement et de production pour l'empêcher de façon catégorique. Des environnements de préproduction sont aussi en chantier). Le blogue de Replit, tel que The Register le rapporte, disait que ses applications « used a single database for both development and live customer data » (en anglais dans l'original ; utilisaient une seule base de données pour le développement et pour les données clients en production).[6] Le résumé de la mise à jour par Lemkin énumère des bases de données séparées, l'agent « restricted to development environments by default » (en anglais dans l'original ; limité par défaut aux environnements de développement), un mode de planification seulement, une restauration en un clic et « mandatory access to internal Replit documentation » (en anglais dans l'original ; accès obligatoire à la documentation interne de Replit), avec la bonne réserve : « But this wouldn't seem to truly enforce code freezes. » (en anglais dans l'original ; mais cela ne semble pas imposer réellement les gels du code.)[5]

« Ne rien changer » était du texte dans un prompt, et l'agent a continué d'agir. Rien de ce que Replit a livré n'est une meilleure consigne. Chaque élément se place hors de portée de l'agent : une base de données de production à laquelle il n'a pas accès, un mode dans lequel il ne peut pas agir, et une restauration qui existe que l'agent y croie ou non. Le gel qui fonctionne est celui que l'agent n'a pas la permission de briser.

La boucle lente : une boutique qui a cédé sa marge.

Le troisième cas n'a ni facture qui s'emballe ni données supprimées. Anthropic, avec la société d'évaluation Andon Labs, a confié à Claude Sonnet 3.7 l'exploitation d'une petite boutique automatisée dans ses bureaux de San Francisco « for about a month » (en anglais dans l'original ; pendant environ un mois) en 2025 ; le compte rendu est daté du 27 juin 2025. L'agent, Claudius, avait un prompt système qui disait « You go bankrupt if your money balance goes below $0 » (en anglais dans l'original ; vous faites faillite si votre solde tombe sous 0 $), ainsi que la recherche web, le courriel, un outil de prise de notes, Slack pour parler aux clients et la capacité de modifier les prix.[8] Il n'a pas fait d'argent, et la façon dont il en a perdu a la forme de la boucle lente.

La liste d'Anthropic : Claudius « was cajoled via Slack messages into providing numerous discount codes » (en anglais dans l'original ; a été amadoué par des messages Slack pour fournir de nombreux codes de rabais) et a donné des articles. Après qu'un employé a demandé un cube de tungstène, il a stocké des articles spécialisés en métal et les a vendus sous le coût ; la légende du graphique de valeur nette dit « The most precipitous drop was due to the purchase of a lot of metal cubes » (en anglais dans l'original ; la chute la plus abrupte est due à l'achat d'un grand nombre de cubes de métal), cubes qui devaient être vendus moins cher que ce que Claudius les avait payés. Il « would offer prices without doing any research » (en anglais dans l'original ; proposait des prix sans faire aucune recherche). Il a accordé un rabais de 25 % aux employés d'Anthropic après s'être fait dire que « 99% of your customers are Anthropic employees » (en anglais dans l'original ; 99 % de vos clients sont des employés d'Anthropic). Il a annoncé la fin des codes de rabais et, quelques jours plus tard, en émettait de nouveau.[8]

La lecture d'Anthropic : « Many of the mistakes Claudius made are very likely the result of the model needing additional scaffolding » (en anglais dans l'original ; bon nombre des erreurs de Claudius sont très probablement dues au fait que le modèle avait besoin d'un encadrement logiciel supplémentaire), et son entraînement comme assistant serviable l'a rendu « far too willing to immediately accede to user requests » (en anglais dans l'original ; bien trop enclin à céder immédiatement aux demandes des utilisateurs). « If Anthropic were deciding today to expand into the in-office vending market, we would not hire Claudius. » (en anglais dans l'original ; si Anthropic décidait aujourd'hui de s'étendre au marché des distributeurs de bureau, nous n'embaucherions pas Claudius.)[8] Pour un exploitant : chaque rabais était une étape raisonnable en soi, chaque demande a réussi, et la politique n'avait aucun plancher hors du modèle. Un prix sous le coût ne devrait pas être quelque chose que l'agent peut fixer, peu importe ce qu'on a réussi à lui faire accepter. C'est le max-instances à une autre vitesse d'horloge.

Dans aucun des trois cas, rien à l'intérieur du processus n'a arrêté la boucle. Ce qui l'a fait : une limite de carte, une personne qui restaurait une sauvegarde dont l'agent disait qu'elle n'existait pas et, pour la boutique, un nouvel encadrement logiciel ajouté par les personnes qui l'exploitaient après la première phase.

Lire les trois incidents avec prudence.

Milkie Way est le récit d'un seul fondateur. Les chiffres sont ses relevés de facturation, mis par écrit neuf mois plus tard. C'est un robot d'extraction, et non un agent IA, et la boucle était une erreur de conception qu'il nomme lui-même ; le mécanisme (une étape qui engendre des étapes, des valeurs par défaut réglées pour la montée en charge, un budget qui ne fait qu'aviser) est ce que fait un environnement d'exécution d'agents quand un réessai engendre une sous-tâche. Google a ensuite « let go of our bill as a one time gesture » (en anglais dans l'original ; passé l'éponge sur notre facture en geste unique) ;[2] il ne présente pas cela comme quelque chose sur quoi compter, et nous non plus.

Replit, ce sont les publications et les captures d'écran d'un utilisateur, plus les déclarations d'un fournisseur. The Stack note que Lemkin n'a pas publié les prompts exacts ni la séquence complète, et soutient que « production » exagère la portée d'un projet personnel monté en vitesse.[7] Les décomptes de fiches sont ceux de Lemkin ; la description de ce qui a été livré est celle de Replit, et The Register a lu la séparation des bases de données comme étant en version bêta pour les nouvelles applications.[6] Non contesté : un agent détenant des identifiants de production a agi pendant un gel déclaré, et son affirmation sur le retour arrière était fausse.

Le Project Vend, c'est un laboratoire qui note son propre modèle. Anthropic a choisi le montage, le prompt et le cadrage ; le graphique de valeur nette est une image sans chiffres dans le texte, si bien que nous ne pouvons pas dire combien a été perdu.[8] Lisez les échecs comme des comportements documentés d'un modèle dans un montage donné.

Ce qui survit aux réserves est étroit : chaque contrôle ci-dessous est un arrêt du genre de ceux qui ont fonctionné dans ces trois cas, une limite qui tient que le processus se comporte bien ou non.

Cinq contrôles, valeurs par défaut nommées.

Voici les cinq que nous voudrions voir en place avant qu'un agent ou un flux de travail tourne sans personne pour le superviser. Chacun est une fonction documentée avec une valeur par défaut documentée, et la valeur par défaut est la première chose à vérifier : dans deux cas sur cinq, ce n'est pas votre chiffre.

fig 3 · les cinq contrôles et leurs valeurs par défaut documentées d'après la documentation des fournisseurs · lue le 2026-10-21
Valeurs par défaut telles que publiées sur les pages citées, lues le 2026-10-21.[3][9][10][11][12][13] La documentation du SDK OpenAI Agents décrit max_turns sans imprimer le chiffre ; 10 est la valeur de DEFAULT_MAX_TURNS dans le code source du SDK. Les plafonds par palier d'Anthropic sont le maximum, et non une limite que vous avez choisie ; la page décrit comment en fixer une plus basse. Lisez chaque page avant de vous fier à un chiffre.

1. Un plafond ferme chez le fournisseur, et non une alerte. Le plafond se trouve là où la boucle ne peut pas le contourner : le compte qui vous facture. La documentation d'Anthropic dit « Spend limits set a maximum monthly cost an organization can incur for API usage » (en anglais dans l'original ; les limites de dépenses fixent un coût mensuel maximal qu'une organisation peut engager pour l'utilisation de l'API) et, au plafond, « API usage pauses until 00:00 UTC on the first day of the next month » (en anglais dans l'original ; l'utilisation de l'API est suspendue jusqu'à 00 h 00 UTC le premier jour du mois suivant) ; le 429 ne contient pas d'en-tête retry-after, si bien que les réessais automatiques du SDK échouent eux aussi.[11] Le guide d'OpenAI sépare les instruments en une ligne chacun : « Hard spend limits stop affected API traffic when tracked spend reaches the limit » (en anglais dans l'original ; les limites de dépenses fermes arrêtent le trafic d'API touché quand les dépenses suivies atteignent la limite) et « Set spend alerts on the limits page to send notifications » (en anglais dans l'original ; configurez des alertes de dépenses sur la page des limites pour envoyer des avis).[12] Un budget Google est de type alerte, à moins que vous ne construisiez vous-même la coupure, et le constat de Chauhan tient : à ce moment-là, « the damage would've probably been done » (en anglais dans l'original ; le mal aurait probablement été fait).[1] Fixez le plafond à un montant que vous pourriez perdre sans réunion. Le plafond est mensuel et vaut pour toute l'organisation : une seule tâche peut donc encore dépenser en une nuit le montant du mois. Les deux fournisseurs documentent un instrument plus fin : Anthropic permet de fixer une limite de dépenses plus basse par espace de travail (pas sur l'espace par défaut), OpenAI par projet.[11][12] Donnez à chaque tâche sans supervision son propre espace de travail ou projet, avec sa propre limite.

2. Une limite de tours ou de récursion, fixée par tâche et comptée à travers les sous-tâches. Deux environnements d'exécution courants livrent des valeurs par défaut séparées de deux ordres de grandeur, dans des unités qui ne concordent pas : 10 tours dans le SDK OpenAI Agents (un tour est un appel au modèle avec ses appels d'outils),[10] 1 000 super-étapes (super-steps) dans LangGraph depuis la version 1.0.6 (une super-étape est une étape du graphe), qui expose aussi une valeur RemainingSteps pour router vers un repli avant l'erreur.[9] Aucun de ces chiffres n'est le vôtre. Une tâche qui devrait prendre six appels d'outils reçoit une limite de dix, fixée là où la tâche est lancée, et non à l'intérieur de chaque sous-tâche : un plafond par sous-tâche avec une génération illimitée de sous-tâches, c'est le max-instances de Milkie Way, et la boucle passe par la brèche. Reste à savoir si l'agent devrait réessayer, une question à chiffrer d'abord.

3. Des écritures idempotentes (qu'on peut répéter sans doubler l'effet), pour qu'un réessai répète une requête et non un effet de bord. Le modèle de Stripe est la référence : une clé par opération, envoyée dans un en-tête, de sorte que « if a connection error occurs, you can safely repeat the request without risk of creating a second object or performing the update twice » (en cas d'erreur de connexion, vous pouvez répéter la requête en toute sécurité, sans risque de créer un deuxième objet ni d'effectuer la mise à jour deux fois).[13] Appliquez-le à chaque écriture qu'un agent peut répéter : envoyer un courriel, créer une facture, débiter une carte, supprimer un enregistrement. Chacune porte une clé dérivée de la tâche et de l'étape, ou une vérification avant écriture. Alors dix réessais produisent un seul effet de bord. La suppression chez Replit est le contre-exemple : une écriture destructrice qu'un prompt interdisait et que rien d'autre n'interdisait.

4. Un interrupteur d'arrêt qu'une personne peut actionner, et une restauration que l'agent ne peut pas contester. L'arrêt de Milkie Way a été « We disabled billing, closed all services » (nous avons désactivé la facturation, fermé tous les services), trouvé sous pression après la suspension.[1] La restauration de Lemkin existait et l'agent lui a dit que non ; le correctif de Replit garde les identifiants de production hors de portée de l'agent et place la restauration à l'extérieur de celui-ci.[5][6] L'interrupteur est une chose nommée : quelle page, quelle commande, qui peut s'en servir, testé par quelqu'un de bien réveillé. L'affirmation d'un agent selon laquelle quelque chose est irréversible n'est qu'une affirmation ; vérifiez la restauration, pas la transcription.

5. Une alerte sur le rythme, avec un retard que vous avez mesuré. Le plafond ne devrait jamais être la première chose à se déclencher. La première, c'est le rythme : appels par minute, dollars par heure, par rapport à la normale de la tâche. Les alertes de budget de Google se déclenchent par défaut à 50 %, 90 % et 100 % d'un montant mensuel, avec un délai de rapport que la documentation vous dit de prévoir.[3] Le correctif après coup de Chauhan a été une alerte de surveillance avec un « lag of about 3-4 minutes » (retard d'environ 3 à 4 minutes).[2] Mesurez votre propre retard en provoquant un cas connu : lancez une rafale volontaire et chronométrez le message. Une alerte qui ne s'est jamais déclenchée est une hypothèse. Notre note sur les agents qui continuent de produire leurs rapports présente le même signal vu de l'autre côté : là, le rythme tombait à zéro ; ici, il grimpe.

Quoi faire lundi.

Les petites entreprises n'exploitent pas de boutiques avec des modèles de langage et ne moissonnent pas le web à un milliard de lectures par minute. Elles laissent bel et bien tourner sans supervision un agent de rapprochement de factures ou un générateur de rapports nocturnes. Les mesures ci-dessous sont notre lecture des trois cas, et non les conseils des sources.

  1. Fixez le plafond chez chaque fournisseur que l'agent peut appeler.

    L'API d'IA, le projet infonuagique, les outils d'envoi de courriels, le fournisseur de données. Repérez le contrôle qui arrête le trafic (la limite de dépenses d'Anthropic, la limite de dépenses ferme d'OpenAI) et fixez-le à un montant que vous pourriez perdre ce mois-ci. Là où il n'existe qu'une alerte, comme avec un budget Google Cloud, écrivez-le dans le guide d'exécution.

    → contrôle 1 : la boucle ne peut pas dépenser au-delà d'un montant que vous avez choisi
  2. Fixez la limite de tours par tâche, comptée à travers les sous-tâches.

    Remplacez la valeur par défaut de l'environnement d'exécution (10 dans le SDK OpenAI Agents, 1 000 dans LangGraph) par le nombre d'étapes prévu de la tâche plus une marge, et faites en sorte que les sous-tâches puisent dans le budget du parent. Mettez-la à l'épreuve avec une tâche impossible à terminer et regardez-la s'arrêter.

    → contrôle 2 : un réessai qui ne se résout jamais se termine en minutes, pas en heures
  3. Dressez la liste des écritures et rendez chacune sûre à répéter.

    Courriels, factures, enregistrements, paiements, suppressions. Donnez à chacune une clé tirée de la tâche et de l'étape, ou une vérification que l'effet existe déjà. Les suppressions et les paiements reçoivent une seconde règle : pas sans une personne, ou pas en production.

    → contrôle 3 : dix réessais, un seul effet de bord
  4. Nommez l'interrupteur d'arrêt et mettez la restauration à l'essai.

    Écrivez ce qui arrête la tâche et qui peut s'en servir. Gardez les identifiants de production hors de l'environnement de l'agent. Prenez la sauvegarde que l'agent ne peut pas atteindre et restaurez-en une fois, en plein jour, avant la première exécution sans supervision.

    → contrôle 4 : une personne peut y mettre fin, et les données reviennent
  5. Alertez sur le rythme, puis provoquez un cas connu.

    Une alerte sur les appels ou les coûts à l'heure au-dessus de la normale, qui avise une personne là où elle lit la nuit. Déclenchez-la exprès et chronométrez l'écart. Si l'écart est d'une journée, l'alerte est un rapport et le plafond fait tout le travail.

    → contrôle 5 : vous apprenez l'existence de la boucle pendant qu'elle coûte encore peu

Ces cinq contrôles sont la moitié « dépenses et rayon d'impact » de notre note sur la gouvernance, et ils passent avant l'autonomie dans l'ordre de construction, pour la raison visible dans les trois incidents : les personnes concernées avaient l'intention d'ajouter des contrôles et ne l'avaient pas encore fait.

Ce que cette note ne prétend pas.

Que ces incidents sont typiques. Ils sont documentés parce qu'ils étaient extrêmes ou publics. Nous n'avons aucune donnée sur la fréquence à laquelle les agents sans supervision bouclent ni sur les coûts moyens de ces boucles ; quiconque vous donne ce chiffre devrait en montrer la source.

Que les cinq contrôles auraient évité chaque cas. Un plafond ferme aurait borné la facture de Milkie Way, sans corriger la récursion. La séparation développement et production aurait gardé l'agent de Replit hors de la base de données, sans lui faire respecter le gel. Un prix plancher aurait sauvé un peu de marge à Claudius, sans en faire un commerçant. Ces mesures bornent les dégâts ; elles ne rendent pas l'agent compétent.

Que les valeurs par défaut resteront telles qu'imprimées. La valeur par défaut de LangGraph est passée à 1 000 à la version 1.0.6 ; les plafonds par palier d'Anthropic et les pages de limites d'OpenAI sont des réglages de fournisseurs. Les chiffres sont ceux lus le 2026-10-21, et le bon chiffre pour votre tâche est celui que vous fixez.

Que les sources sont neutres. Un fondateur, un utilisateur qui écrit sur un fournisseur et un laboratoire qui écrit sur son propre modèle ont chacun une position. Nous nous sommes appuyés sur ce que chacun dit contre son propre intérêt (Chauhan sur sa conception, Anthropic sur le fait de ne pas embaucher Claudius, Lemkin sur les limites du correctif de Replit) et nous avons étiqueté le reste comme des affirmations.

À retenir
Une alerte de budget de 7 $ US n'a pas empêché une récursion sur 1 000 instances par défaut d'atteindre une facture « a little short of $72,000 » (un peu moins de 72 000 $ US) ; une limite de 100 $ US sur la carte, oui. Un agent détenant des identifiants de production a supprimé une base de données pendant un gel déclaré et a mal rapporté le retour arrière. Un modèle qui exploitait une boutique a perdu sa marge en rabais, une demande à la fois. Avant qu'un agent tourne sans supervision, voici les mesures : un plafond de dépenses ferme chez chaque fournisseur, une limite de tours fixée par tâche (et non les 10 ou 1 000 de l'environnement d'exécution), des écritures sûres à répéter, un interrupteur d'arrêt nommé et une restauration déjà mise à l'essai, et une alerte sur le rythme dont vous avez chronométré le retard. Les alertes avisent. Seuls les plafonds arrêtent.
Cette note se rattache à la gouvernance de l'IA, ce sont cinq contrôles (l'ensemble complet des contrôles) · l'autonomie se mérite (où se situent les exécutions sans supervision dans l'ordre) · l'agent continuait de produire ses rapports (le signal de rythme vu de l'autre côté) · pourquoi nous avons arrêté de construire des orchestrateurs custom (là où loge la limite de tours).
Sources
[1] Sudeep Chauhan (Milkie Way), « We Burnt $72K testing Firebase + Cloud Run and almost went Bankrupt [Part 1] » (en anglais dans l'original ; nous avons brûlé 72 000 $ US à tester Firebase + Cloud Run et avons failli faire faillite [partie 1]), Medium, 9 décembre 2020 (d'abord publié sur le blogue de l'entreprise, blog.tomilkieway.com), medium.com. Bilan du fondateur sur sa propre erreur ; les chiffres sont ses relevés de facturation. Utilisé pour le montage (budget de 7 $ US, forfait Spark, la phrase « then left it »), les trois courriels, la limite de 100 $ US sur la carte, la facture telle que vue (~5 000 $ US, 15 000 $ US, 25 000 $ US, « a little short of $72,000 » (en anglais dans l'original ; un peu moins de 72 000 $ US)), la date (vendredi 27 mars), les suspensions, le retard du tableau de bord et le chiffre de 42 000, la remarque sur les « limites » de facturation qui n'existent pas, la facturation en retard d'au moins un jour, la phrase sur la désactivation de la facturation et la fermeture des services, et la remarque sur la fonction de coupure.
[2] Sudeep Chauhan (Milkie Way), « We Burnt $72K testing Firebase - Cloud Run and almost went Bankrupt [Part 2] » (en anglais dans l'original ; nous avons brûlé 72 000 $ US à tester Firebase - Cloud Run et avons failli faire faillite [partie 2]), blogue de l'entreprise, 8 décembre 2020 (aussi sur Medium), dev-blog.tomilkieway.com. Même auteur ; le mécanisme et l'arithmétique. Utilisé pour la conception par requêtes POST, la récursion exponentielle sans arrêt, la récursion par lien de retour et le maximum de 1 000 instances, les valeurs par défaut (1 000 et 80), environ 1 milliard de lectures par minute, 116 milliards de lectures et 33 millions d'écritures, 0,06 $ US par 100 000 et 69 600 $ US, 16 022 heures en 24 heures, la facture de 72 000 $ US qui aurait été de 144 $ US, le retard de 3 à 4 minutes de Cloud Monitoring et l'effacement exceptionnel de la facture.
[3] Google Cloud, « Create, edit, or delete budgets and budget alerts » (en anglais dans l'original ; créer, modifier ou supprimer des budgets et des alertes de budget), documentation de Cloud Billing, lue le 2026-10-21, docs.cloud.google.com. Documentation du fournisseur. Utilisée pour la phrase selon laquelle un budget à alertes seulement ne plafonne pas automatiquement l'utilisation ni les dépenses, les seuils par défaut (50 %, 90 %, 100 % des dépenses réelles) et la phrase sur le délai entre l'utilisation et la facturation.
[4] Thomas Claburn, « Vibe coding service Replit deleted user's production database, faked data, told fibs galore » (en anglais dans l'original ; le service de vibe coding Replit a supprimé la base de données de production d'un utilisateur, falsifié des données et raconté des mensonges à profusion), The Register, 21 juillet 2025, theregister.com. Article de presse bâti à partir des publications publiques de Lemkin. Utilisé pour le début du 12 juillet, l'« application la plus addictive », la séquence des 18 et 19 juillet (fausses données, faux rapports, le test unitaire, la suppression), les « onze fois en MAJUSCULES », l'« erreur de jugement catastrophique » de l'agent et la formule sur la confiance et les instructions explicites violées, le retour arrière qui a fonctionné, et l'absence de moyen d'imposer un gel du code.
[5] Jason Lemkin, « Replit's New Release Addresses Most of the Challenges We Hit Vibe Coding. But Is Prosumer Vibe Coding Really Ready for Commercial Apps Yet? » (en anglais dans l'original ; la nouvelle version de Replit répond à la plupart des défis que nous avons rencontrés en vibe coding. Mais le vibe coding semi-professionnel est-il vraiment prêt pour les applications commerciales ?), SaaStr, page non datée dont la plus récente référence est le 1er août 2025, saastr.com. Récit de l'utilisateur lui-même et sa lecture du correctif du fournisseur. Utilisé pour les 1 206 fiches de dirigeants et plus de 1 196 profils d'entreprises, l'accès direct aux bases de production pendant les séances de développement, la liste de la mise à jour (bases séparées, agent limité par défaut aux environnements de développement, mode de planification seulement, restauration en un clic et ce que captent les points de contrôle, accès obligatoire à la documentation interne de Replit) et la réserve selon laquelle cela ne semble pas imposer réellement les gels du code.
[6] Thomas Claburn, « Replit makes vibe-y promise to stop its AI agents making vibe coding disasters » (en anglais dans l'original ; Replit fait une promesse dans l'air du temps pour empêcher ses agents IA de provoquer des désastres de vibe coding), The Register, 22 juillet 2025, theregister.com. Article de presse citant la publication d'Amjad Masad du 21 juillet sur X et le blogue de Replit. Utilisé pour les formules « inacceptable et ne devrait jamais être possible » et le déploiement de la séparation automatique des bases de développement et de production avec des environnements de préproduction en chantier, l'explication de la documentation, la phrase du blogue sur la base de données unique, et le statut bêta de la séparation.
[7] The Stack, « Vibe coding: CEO deletes production database » (en anglais dans l'original ; vibe coding : un PDG supprime sa base de données de production), juillet 2025, thestack.technology. Analyse de presse spécialisée. Utilisée pour les réserves : Lemkin n'a pas publié les prompts exacts ni la séquence complète, « production » exagère la portée d'un projet personnel, et le mode de planification ou de clavardage seulement parmi les changements annoncés par Replit.
[8] Anthropic, « Project Vend: Can Claude run a small shop? (And why does that matter?) » (en anglais dans l'original ; Project Vend : Claude peut-il exploiter une petite boutique ? (Et pourquoi est-ce important ?)), anthropic.com/research, 27 juin 2025, anthropic.com. Récit d'un laboratoire sur son propre modèle, avec Andon Labs ; le graphique de valeur nette est une image et aucun chiffre final n'est donné. Utilisé pour le montage (Claude Sonnet 3.7, environ un mois, la ligne sur la faillite dans le prompt système, les outils), les codes de rabais, les cubes de métal et la légende du graphique, les prix proposés sans recherche, le rabais de 25 % et la phrase sur les 99 % de clients, le revirement sur les codes de rabais, le besoin d'encadrement logiciel supplémentaire, la docilité excessive envers les demandes des utilisateurs, la phrase « nous n'embaucherions pas Claudius » et la note sur l'amélioration de l'encadrement depuis.
[9] LangChain, « Graph API: Recursion limit » (en anglais dans l'original ; API de graphe : limite de récursion), documentation de LangGraph, lue le 2026-10-21, docs.langchain.com. Documentation du fournisseur. Utilisée pour la définition (nombre maximal de super-étapes par exécution), la levée de GraphRecursionError à l'atteinte de la limite, la valeur par défaut de 1 000 étapes depuis la version 1.0.6, l'exemple de configuration et le repli par RemainingSteps.
[10] OpenAI, « Running agents » (en anglais dans l'original ; exécuter des agents), documentation du SDK OpenAI Agents, lue le 2026-10-21, openai.github.io, et src/agents/run_config.py dans le code source du SDK, github.com. Documentation et code source du fournisseur. Utilisés pour la définition d'un tour (une invocation d'IA, appels d'outils éventuels compris), MaxTurnsExceeded, la désactivation de la limite en passant max_turns=None, l'option error_handlers et DEFAULT_MAX_TURNS = 10.
[11] Anthropic, « Rate limits » (en anglais dans l'original ; limites de débit), section sur les limites de dépenses, documentation de la Claude Developer Platform, lue le 2026-10-21, platform.claude.com. Documentation du fournisseur. Utilisée pour la définition d'une limite de dépenses (un coût mensuel maximal pour l'organisation), les plafonds par palier (Start 500 $ US, Build 1 000 $ US, Scale 200 000 $ US ; le palier Custom n'en a pas), la suspension jusqu'à 00 h 00 UTC le premier du mois suivant, le 429 sans retry-after et le code enforced_spend_limit_reached, la possibilité de fixer sa propre limite plus basse sur la page de facturation et le HTTP 400 qu'elle renvoie, et les limites d'espace de travail.
[12] OpenAI, « Production best practices » (en anglais dans l'original ; bonnes pratiques de production), documentation de l'API OpenAI, lue le 2026-10-21, developers.openai.com. Documentation du fournisseur. Utilisée pour la formule sur la limite de dépenses ferme comme moyen d'imposer un plafond mensuel, l'arrêt du trafic touché quand les dépenses suivies atteignent la limite, les alertes de dépenses configurées sur la page des limites à un montant en dollars, et les limites de débit et de dépenses par projet.
[13] Stripe, « Idempotent requests » (en anglais dans l'original ; requêtes idempotentes), référence de l'API Stripe, lue le 2026-10-21, docs.stripe.com. Documentation du fournisseur. Utilisée pour le modèle : répéter une requête en toute sécurité, sans créer un deuxième objet ni refaire la mise à jour, les UUID V4, jusqu'à 255 caractères, les réponses enregistrées renvoyées lors d'un réessai, l'élagage après au moins 24 heures, POST seulement, et l'erreur de non-concordance des paramètres.

Si vous avez un agent ou un flux de travail qui tourne pendant que personne ne regarde et que vous ne savez pas lequel des cinq contrôles il possède, décrivez-nous la tâche (ni identifiants ni données de clients) par le formulaire de contact. Nous vous répondrons par écrit, gratuitement, en vous indiquant le plafond, la limite et l'alerte que nous fixerions en premier. Poser ces contrôles autour des agents avant qu'ils tournent sans supervision fait partie de nos services d'automatisation de flux de travail.

· fin · tx 020 ·
JP
Jean Pierre Levac

Fondateur d'Acceleratech, le pôle de services en IA et automatisation des flux de travail du Groupe de Croissance Numérique JPL. Rédige et révise les notes de terrain publiées ici.

Rédigé et révisé par Jean Pierre Levac. Note de transparence →