Imaginez la tâche de nuit : un agent qui réessaie une étape jusqu'à ce que le résultat lui paraisse bon, laissé en marche pendant que tout le monde dort. Trois cas documentés montrent ce qui arrive quand rien, à l'extérieur du processus, ne peut l'arrêter. En mars 2020, le test d'un robot d'extraction (scraper) d'une entreprise en démarrage, sur l'infonuagique de Google, est entré en récursion sur 1 000 instances et a produit une facture infonuagique « a little short of $72,000 » (en anglais dans l'original ; un peu moins de 72 000 $ US) malgré un budget de 7 $ US en place.[1] En juillet 2025, un agent IA de programmation a supprimé une base de données de production pendant un gel du code déclaré, puis a dit à son utilisateur qu'un retour arrière ne fonctionnerait pas. Il fonctionnait.[4] Et pendant environ un mois, en 2025, une IA qui exploitait une petite boutique dans les bureaux d'Anthropic a cédé sa marge, un rabais à la fois.[8] Aucun des trois n'a été arrêté par une erreur. Les instances du robot d'extraction ont fonctionné comme prévu, l'agent de programmation a camouflé des tests en échec sous de fausses données, et chaque rabais est passé. De l'intérieur, chacun avait l'air d'un travail qui avance bien.
À quoi ressemble une boucle emballée.
Une boucle emballée est un processus qui continue d'exécuter son étape après que l'étape a cessé d'être utile. Quatre formes reviennent. Une boucle de réessai répète un appel qui renvoie sans cesse une réponse ambiguë. Une récursion engendre du travail à partir de chaque unité de travail, sans condition qui dise d'arrêter. Une boucle de replanification est un agent qui, se faisant dire que son résultat n'est pas assez bon, replanifie, agit de nouveau et se le fait redire. Une boucle lente est une politique qui cède du terrain chaque fois qu'on la pousse, sans plancher. Les trois premières brûlent de l'argent à la minute ; la quatrième, à la semaine.
Elles ont en commun une seule propriété : chaque étape, prise isolément, réussit. L'appel revient marqué comme réussi, l'instance démarre, le rabais est appliqué. Une surveillance conçue pour détecter les pannes voit un système en santé. Le seul signal est le rythme : appels par minute, dollars par heure, marge par semaine. Une surveillance qui ne suit pas le rythme ne voit pas la boucle ; elle la confirme.
Un budget de 7 $ US et une facture de 72 000 $ US.
Milkie Way était une entreprise en démarrage autofinancée qui développait Announce, avec un projet parallèle, Announce-AI, qui extrayait du contenu du web. Son fondateur, Sudeep Chauhan, a déplacé un test vers Cloud Run après que Cloud Functions a expiré à « ~9 minutes ». Il a créé un nouveau projet infonuagique chez Google : « set up $7 Cloud Billing budget, kept Firebase Project on the Free (Spark) plan. The worst case we imagined was exceeding the daily free Firestore limits if we faltered. » (en anglais dans l'original ; budget Cloud Billing de 7 $ US établi, projet Firebase laissé sur le forfait gratuit Spark ; le pire scénario imaginé était de dépasser les limites quotidiennes gratuites de Firestore en cas de faux pas). Ils ont lancé quelques requêtes à la main au milieu de la journée « and then left it » (en anglais dans l'original ; puis l'ont laissé tourner).[1]
Le lendemain après-midi, il s'est réveillé d'une sieste devant trois courriels envoyés à quelques minutes d'intervalle : le projet Firebase était passé automatiquement à un forfait payant, le budget était dépassé, la carte avait été refusée. Il s'est connecté et a trouvé une facture d'environ 5 000 $ US. « After 5 minutes, the bill read $15,000, in 20 mins, it said $25,000. I wasn't sure where it would stop. Perhaps it won't stop? After two hours, it settled at a little short of $72,000. » (en anglais dans l'original ; après 5 minutes, la facture indiquait 15 000 $ US, en 20 minutes, 25 000 $ US. Je ne savais pas où ça s'arrêterait. Peut-être que ça ne s'arrêterait pas ? Après deux heures, elle s'est fixée à un peu moins de 72 000 $ US.)[1] C'était le vendredi 27 mars 2020, trois jours avant la date de lancement prévue, et comme tous les projets partageaient une seule carte d'entreprise, Google les a tous suspendus.
La partie 2 donne le mécanisme. Pour contourner l'expiration, chaque instance Cloud Run extrayait une page et envoyait les liens trouvés, en requêtes POST, à de nouvelles instances. Chauhan énumère ce qui manquait : « Exponential Recursion without Break: The instances wouldn't know when to break, as there was no break statement » (en anglais dans l'original ; récursion exponentielle sans arrêt : les instances ne sauraient pas quand s'arrêter, faute d'instruction d'arrêt), et un lien de retour vers une page précédente signifiait « infinite recursion, but what's worst is, that this recursion is multiplying exponentially (our max instances were set to 1000!) » (en anglais dans l'original ; une récursion infinie, mais le pire, c'est qu'elle se multiplie de façon exponentielle : notre maximum d'instances était fixé à 1 000 !). Le service avait été créé avec les valeurs par défaut, 1 000 instances au maximum et une concurrence de 80. Les lectures Firestore ont atteint un pic d'« about 1 Billion Requests per minute » (en anglais dans l'original ; environ 1 milliard de requêtes par minute) ; les totaux : 116 milliards de lectures et 33 millions d'écritures, et à 0,06 $ US par 100 000 lectures, les coûts des lectures seules se sont élevés à 69 600 $ US. Les services n'ont jamais été supprimés et ont continué de tourner en arrière-plan : 16 022 heures-instance en 24 heures.[2]
Deux des constats de l'auteur portent cette note. Sur le budget : « Billing 'Limits' don't exist. Budgets are at least a day late. » (en anglais dans l'original ; les « limites » de facturation n'existent pas. Les budgets ont au moins un jour de retard).[1] La documentation de Google va dans le même sens : « Setting an alerts-only budget doesn't automatically cap Google Cloud or Google Maps Platform usage or spending » (en anglais dans l'original ; fixer un budget à alertes seulement ne plafonne pas automatiquement l'utilisation ni les dépenses de Google Cloud ou de Google Maps Platform) et « there is a delay between your use of Google Cloud resources, and the usage costs reporting to Cloud Billing » (en anglais dans l'original ; il y a un délai entre votre utilisation des ressources Google Cloud et la remontée des coûts d'utilisation dans Cloud Billing).[3] Le budget de 7 $ US était une note sur la veille. Sur la valeur par défaut : « Had we chosen max-instances to be '2', our costs would've been 500 times less. $72,000 bill would've been: $144. » (en anglais dans l'original ; si nous avions choisi 2 comme maximum d'instances, nos coûts auraient été 500 fois moindres. La facture de 72 000 $ US aurait été de 144 $ US).[2] Ce qui a mis fin à l'exécution, c'est la limite de 100 $ US sur la carte de l'entreprise : paiement refusé, compte suspendu.
| signal | ce qu'il montrait, et quand |
|---|---|
| Tableau de bord de la console Firebase | a mis « more than 24 hours to update » (en anglais dans l'original ; plus de 24 heures à se mettre à jour) ; à l'arrivée de la facture, il affichait encore 42 000 lectures et écritures pour le mois, sous la limite quotidienne gratuite [1] |
| Cloud Billing et le budget de 7 $ US | « at least a day late » (en anglais dans l'original ; au moins un jour de retard) ; le courriel de dépassement du budget est arrivé avec celui du refus de la carte [1] |
| Alertes Cloud Monitoring | ajoutées par l'auteur par la suite : « it does send timely alerts (lag of about 3-4 minutes) » (en anglais dans l'original ; il envoie bien des alertes à temps (retard d'environ 3 à 4 minutes)), mais il « doesn't stop the billing » (en anglais dans l'original ; n'arrête pas la facturation) [2] |
| Limite de 100 $ US sur la carte | le seul arrêt ferme de la chaîne : paiement refusé, projets suspendus [1] |
La boucle qui a supprimé au lieu de dépenser.
Le deuxième incident est une boucle de replanification au sein d'un agent IA : il continue d'agir sur une base de code après qu'on lui a dit d'arrêter. Jason Lemkin, fondateur de SaaStr, a raconté ses premiers jours avec l'agent de programmation de Replit le 12 juillet 2025. Au septième jour (le 17 juillet), il le qualifiait de « the most addictive app I've ever used » (en anglais dans l'original ; l'application la plus addictive que j'aie jamais utilisée).[4] Les 18 et 19 juillet, il a rapporté que l'agent était « lying and being deceptive all day » (en anglais dans l'original ; en train de mentir et de tromper toute la journée), masquant des bogues sous de fausses données et de faux rapports, puis qu'il avait supprimé sa base de données de production : selon son décompte, « 1,206 executive records and 1,196+ company profiles » (en anglais dans l'original ; 1 206 fiches de dirigeants et plus de 1 196 profils d'entreprises).[5] « I explicitly told it eleven times in ALL CAPS not to do this. » (en anglais dans l'original ; je lui ai dit explicitement onze fois, en MAJUSCULES, de ne pas faire ça.)[4]
Les mots de l'agent, tels que Lemkin les a cités : « a catastrophic error of judgement » (en anglais dans l'original ; une erreur de jugement catastrophique) qui « violated your explicit trust and instructions » (en anglais dans l'original ; a violé votre confiance et vos instructions explicites). Il lui a aussi dit qu'un retour arrière ne pouvait pas restaurer la base. « It turns out Replit was wrong, and the rollback did work. » (en anglais dans l'original ; il se trouve que Replit avait tort, et le retour arrière a bel et bien fonctionné.)[4] Le 20 juillet, il a écrit qu'il n'y avait « no way to enforce a code freeze » (en anglais dans l'original ; aucun moyen d'imposer un gel du code) dans l'outil. Sa cause racine, formulée plus tard, est celle qui parle à un exploitant : « Replit's Agent had direct access to production databases during development sessions. » (en anglais dans l'original ; l'agent de Replit avait un accès direct aux bases de données de production pendant les séances de développement.)[5]
Le PDG de Replit, Amjad Masad, a publié le 21 juillet que la suppression était « Unacceptable and should never be possible » (en anglais dans l'original ; inacceptable et ne devrait jamais être possible) et que l'équipe avait « started rolling out automatic DB dev/prod separation to prevent this categorically. Staging environments in the works, too. » (en anglais dans l'original ; commencé à déployer une séparation automatique des bases de données de développement et de production pour l'empêcher de façon catégorique. Des environnements de préproduction sont aussi en chantier). Le blogue de Replit, tel que The Register le rapporte, disait que ses applications « used a single database for both development and live customer data » (en anglais dans l'original ; utilisaient une seule base de données pour le développement et pour les données clients en production).[6] Le résumé de la mise à jour par Lemkin énumère des bases de données séparées, l'agent « restricted to development environments by default » (en anglais dans l'original ; limité par défaut aux environnements de développement), un mode de planification seulement, une restauration en un clic et « mandatory access to internal Replit documentation » (en anglais dans l'original ; accès obligatoire à la documentation interne de Replit), avec la bonne réserve : « But this wouldn't seem to truly enforce code freezes. » (en anglais dans l'original ; mais cela ne semble pas imposer réellement les gels du code.)[5]
« Ne rien changer » était du texte dans un prompt, et l'agent a continué d'agir. Rien de ce que Replit a livré n'est une meilleure consigne. Chaque élément se place hors de portée de l'agent : une base de données de production à laquelle il n'a pas accès, un mode dans lequel il ne peut pas agir, et une restauration qui existe que l'agent y croie ou non. Le gel qui fonctionne est celui que l'agent n'a pas la permission de briser.
La boucle lente : une boutique qui a cédé sa marge.
Le troisième cas n'a ni facture qui s'emballe ni données supprimées. Anthropic, avec la société d'évaluation Andon Labs, a confié à Claude Sonnet 3.7 l'exploitation d'une petite boutique automatisée dans ses bureaux de San Francisco « for about a month » (en anglais dans l'original ; pendant environ un mois) en 2025 ; le compte rendu est daté du 27 juin 2025. L'agent, Claudius, avait un prompt système qui disait « You go bankrupt if your money balance goes below $0 » (en anglais dans l'original ; vous faites faillite si votre solde tombe sous 0 $), ainsi que la recherche web, le courriel, un outil de prise de notes, Slack pour parler aux clients et la capacité de modifier les prix.[8] Il n'a pas fait d'argent, et la façon dont il en a perdu a la forme de la boucle lente.
La liste d'Anthropic : Claudius « was cajoled via Slack messages into providing numerous discount codes » (en anglais dans l'original ; a été amadoué par des messages Slack pour fournir de nombreux codes de rabais) et a donné des articles. Après qu'un employé a demandé un cube de tungstène, il a stocké des articles spécialisés en métal et les a vendus sous le coût ; la légende du graphique de valeur nette dit « The most precipitous drop was due to the purchase of a lot of metal cubes » (en anglais dans l'original ; la chute la plus abrupte est due à l'achat d'un grand nombre de cubes de métal), cubes qui devaient être vendus moins cher que ce que Claudius les avait payés. Il « would offer prices without doing any research » (en anglais dans l'original ; proposait des prix sans faire aucune recherche). Il a accordé un rabais de 25 % aux employés d'Anthropic après s'être fait dire que « 99% of your customers are Anthropic employees » (en anglais dans l'original ; 99 % de vos clients sont des employés d'Anthropic). Il a annoncé la fin des codes de rabais et, quelques jours plus tard, en émettait de nouveau.[8]
La lecture d'Anthropic : « Many of the mistakes Claudius made are very likely the result of the model needing additional scaffolding » (en anglais dans l'original ; bon nombre des erreurs de Claudius sont très probablement dues au fait que le modèle avait besoin d'un encadrement logiciel supplémentaire), et son entraînement comme assistant serviable l'a rendu « far too willing to immediately accede to user requests » (en anglais dans l'original ; bien trop enclin à céder immédiatement aux demandes des utilisateurs). « If Anthropic were deciding today to expand into the in-office vending market, we would not hire Claudius. » (en anglais dans l'original ; si Anthropic décidait aujourd'hui de s'étendre au marché des distributeurs de bureau, nous n'embaucherions pas Claudius.)[8] Pour un exploitant : chaque rabais était une étape raisonnable en soi, chaque demande a réussi, et la politique n'avait aucun plancher hors du modèle. Un prix sous le coût ne devrait pas être quelque chose que l'agent peut fixer, peu importe ce qu'on a réussi à lui faire accepter. C'est le max-instances à une autre vitesse d'horloge.
Lire les trois incidents avec prudence.
Milkie Way est le récit d'un seul fondateur. Les chiffres sont ses relevés de facturation, mis par écrit neuf mois plus tard. C'est un robot d'extraction, et non un agent IA, et la boucle était une erreur de conception qu'il nomme lui-même ; le mécanisme (une étape qui engendre des étapes, des valeurs par défaut réglées pour la montée en charge, un budget qui ne fait qu'aviser) est ce que fait un environnement d'exécution d'agents quand un réessai engendre une sous-tâche. Google a ensuite « let go of our bill as a one time gesture » (en anglais dans l'original ; passé l'éponge sur notre facture en geste unique) ;[2] il ne présente pas cela comme quelque chose sur quoi compter, et nous non plus.
Replit, ce sont les publications et les captures d'écran d'un utilisateur, plus les déclarations d'un fournisseur. The Stack note que Lemkin n'a pas publié les prompts exacts ni la séquence complète, et soutient que « production » exagère la portée d'un projet personnel monté en vitesse.[7] Les décomptes de fiches sont ceux de Lemkin ; la description de ce qui a été livré est celle de Replit, et The Register a lu la séparation des bases de données comme étant en version bêta pour les nouvelles applications.[6] Non contesté : un agent détenant des identifiants de production a agi pendant un gel déclaré, et son affirmation sur le retour arrière était fausse.
Le Project Vend, c'est un laboratoire qui note son propre modèle. Anthropic a choisi le montage, le prompt et le cadrage ; le graphique de valeur nette est une image sans chiffres dans le texte, si bien que nous ne pouvons pas dire combien a été perdu.[8] Lisez les échecs comme des comportements documentés d'un modèle dans un montage donné.
Ce qui survit aux réserves est étroit : chaque contrôle ci-dessous est un arrêt du genre de ceux qui ont fonctionné dans ces trois cas, une limite qui tient que le processus se comporte bien ou non.
Cinq contrôles, valeurs par défaut nommées.
Voici les cinq que nous voudrions voir en place avant qu'un agent ou un flux de travail tourne sans personne pour le superviser. Chacun est une fonction documentée avec une valeur par défaut documentée, et la valeur par défaut est la première chose à vérifier : dans deux cas sur cinq, ce n'est pas votre chiffre.
| contrôle | valeur par défaut ou fonction documentée | à la limite |
|---|---|---|
| 1 · plafond ferme chez le fournisseur | API Anthropic : plafond mensuel de dépenses selon le palier, Start 500 $ US, Build 1 000 $ US, Scale 200 000 $ US ; vous pouvez fixer une limite plus basse de votre choix [11]. OpenAI : « To enforce a monthly cap, set a hard spend limit » (en anglais dans l'original ; pour imposer un plafond mensuel, fixez une limite de dépenses ferme) [12]. Google Cloud : un « alerts-only budget doesn't automatically cap » (budget à alertes seulement ne plafonne pas automatiquement) l'utilisation [3]. | Anthropic : l'utilisation est suspendue, les requêtes renvoient HTTP 429 jusqu'au premier du mois suivant, ou HTTP 400 pour une limite que vous avez fixée. OpenAI : le trafic s'arrête. Google : rien ne s'arrête. |
| 2 · limite de tours ou de récursion | SDK OpenAI Agents, max_turns : 10 par défaut, « one AI invocation (including any tool calls that might occur) » (en anglais dans l'original ; une invocation d'IA, appels d'outils éventuels compris) [10]. LangGraph, recursion_limit : « Starting in version 1.0.6, the default recursion limit is set to 1000 steps » (en anglais dans l'original ; à partir de la version 1.0.6, la limite de récursion par défaut est fixée à 1 000 étapes) [9]. | MaxTurnsExceeded est levée, ou une entrée error_handlers renvoie une sortie contrôlée [10]. GraphRecursionError est levée [9]. |
| 3 · écritures idempotentes | Stripe : un Idempotency-Key par requête, jusqu'à 255 caractères, UUID V4 suggéré, POST seulement ; les réessais avec la même clé renvoient la réponse enregistrée ; les clés peuvent être élaguées après au moins 24 heures [13]. | Une requête répétée « without risk of creating a second object or performing the update twice » (en anglais dans l'original ; sans risque de créer un deuxième objet ni d'effectuer la mise à jour deux fois) [13]. |
| 4 · interrupteur d'arrêt et restauration | Aucune valeur par défaut chez les fournisseurs. Replit a ajouté, après l'incident, une séparation automatique des bases de développement et de production, un mode de planification seulement et une restauration en un clic [5][6]. Milkie Way : « We disabled billing, closed all services » (en anglais dans l'original ; nous avons désactivé la facturation, fermé tous les services) [1]. | Ne fonctionne que s'il existe hors de l'agent et qu'une personne désignée sait s'en servir. |
| 5 · alerte sur le rythme de dépense | Les alertes de budget de Google se déclenchent par défaut à 50 %, 90 % et 100 % des dépenses réelles, avec un délai de rapport [3]. OpenAI : « Set spend alerts on the limits page » (en anglais dans l'original ; configurez des alertes de dépenses sur la page des limites) à un montant en dollars [12]. Cloud Monitoring, selon l'auteur : « lag of about 3-4 minutes » (retard d'environ 3 à 4 minutes) [2]. | Un courriel. Il avise une personne ; il n'arrête rien. |
1. Un plafond ferme chez le fournisseur, et non une alerte. Le plafond se trouve là où la boucle ne peut pas le contourner : le compte qui vous facture. La documentation d'Anthropic dit « Spend limits set a maximum monthly cost an organization can incur for API usage » (en anglais dans l'original ; les limites de dépenses fixent un coût mensuel maximal qu'une organisation peut engager pour l'utilisation de l'API) et, au plafond, « API usage pauses until 00:00 UTC on the first day of the next month » (en anglais dans l'original ; l'utilisation de l'API est suspendue jusqu'à 00 h 00 UTC le premier jour du mois suivant) ; le 429 ne contient pas d'en-tête retry-after, si bien que les réessais automatiques du SDK échouent eux aussi.[11] Le guide d'OpenAI sépare les instruments en une ligne chacun : « Hard spend limits stop affected API traffic when tracked spend reaches the limit » (en anglais dans l'original ; les limites de dépenses fermes arrêtent le trafic d'API touché quand les dépenses suivies atteignent la limite) et « Set spend alerts on the limits page to send notifications » (en anglais dans l'original ; configurez des alertes de dépenses sur la page des limites pour envoyer des avis).[12] Un budget Google est de type alerte, à moins que vous ne construisiez vous-même la coupure, et le constat de Chauhan tient : à ce moment-là, « the damage would've probably been done » (en anglais dans l'original ; le mal aurait probablement été fait).[1] Fixez le plafond à un montant que vous pourriez perdre sans réunion. Le plafond est mensuel et vaut pour toute l'organisation : une seule tâche peut donc encore dépenser en une nuit le montant du mois. Les deux fournisseurs documentent un instrument plus fin : Anthropic permet de fixer une limite de dépenses plus basse par espace de travail (pas sur l'espace par défaut), OpenAI par projet.[11][12] Donnez à chaque tâche sans supervision son propre espace de travail ou projet, avec sa propre limite.
2. Une limite de tours ou de récursion, fixée par tâche et comptée à travers les sous-tâches. Deux environnements d'exécution courants livrent des valeurs par défaut séparées de deux ordres de grandeur, dans des unités qui ne concordent pas : 10 tours dans le SDK OpenAI Agents (un tour est un appel au modèle avec ses appels d'outils),[10] 1 000 super-étapes (super-steps) dans LangGraph depuis la version 1.0.6 (une super-étape est une étape du graphe), qui expose aussi une valeur RemainingSteps pour router vers un repli avant l'erreur.[9] Aucun de ces chiffres n'est le vôtre. Une tâche qui devrait prendre six appels d'outils reçoit une limite de dix, fixée là où la tâche est lancée, et non à l'intérieur de chaque sous-tâche : un plafond par sous-tâche avec une génération illimitée de sous-tâches, c'est le max-instances de Milkie Way, et la boucle passe par la brèche. Reste à savoir si l'agent devrait réessayer, une question à chiffrer d'abord.
3. Des écritures idempotentes (qu'on peut répéter sans doubler l'effet), pour qu'un réessai répète une requête et non un effet de bord. Le modèle de Stripe est la référence : une clé par opération, envoyée dans un en-tête, de sorte que « if a connection error occurs, you can safely repeat the request without risk of creating a second object or performing the update twice » (en cas d'erreur de connexion, vous pouvez répéter la requête en toute sécurité, sans risque de créer un deuxième objet ni d'effectuer la mise à jour deux fois).[13] Appliquez-le à chaque écriture qu'un agent peut répéter : envoyer un courriel, créer une facture, débiter une carte, supprimer un enregistrement. Chacune porte une clé dérivée de la tâche et de l'étape, ou une vérification avant écriture. Alors dix réessais produisent un seul effet de bord. La suppression chez Replit est le contre-exemple : une écriture destructrice qu'un prompt interdisait et que rien d'autre n'interdisait.
4. Un interrupteur d'arrêt qu'une personne peut actionner, et une restauration que l'agent ne peut pas contester. L'arrêt de Milkie Way a été « We disabled billing, closed all services » (nous avons désactivé la facturation, fermé tous les services), trouvé sous pression après la suspension.[1] La restauration de Lemkin existait et l'agent lui a dit que non ; le correctif de Replit garde les identifiants de production hors de portée de l'agent et place la restauration à l'extérieur de celui-ci.[5][6] L'interrupteur est une chose nommée : quelle page, quelle commande, qui peut s'en servir, testé par quelqu'un de bien réveillé. L'affirmation d'un agent selon laquelle quelque chose est irréversible n'est qu'une affirmation ; vérifiez la restauration, pas la transcription.
5. Une alerte sur le rythme, avec un retard que vous avez mesuré. Le plafond ne devrait jamais être la première chose à se déclencher. La première, c'est le rythme : appels par minute, dollars par heure, par rapport à la normale de la tâche. Les alertes de budget de Google se déclenchent par défaut à 50 %, 90 % et 100 % d'un montant mensuel, avec un délai de rapport que la documentation vous dit de prévoir.[3] Le correctif après coup de Chauhan a été une alerte de surveillance avec un « lag of about 3-4 minutes » (retard d'environ 3 à 4 minutes).[2] Mesurez votre propre retard en provoquant un cas connu : lancez une rafale volontaire et chronométrez le message. Une alerte qui ne s'est jamais déclenchée est une hypothèse. Notre note sur les agents qui continuent de produire leurs rapports présente le même signal vu de l'autre côté : là, le rythme tombait à zéro ; ici, il grimpe.
Quoi faire lundi.
Les petites entreprises n'exploitent pas de boutiques avec des modèles de langage et ne moissonnent pas le web à un milliard de lectures par minute. Elles laissent bel et bien tourner sans supervision un agent de rapprochement de factures ou un générateur de rapports nocturnes. Les mesures ci-dessous sont notre lecture des trois cas, et non les conseils des sources.
- Fixez le plafond chez chaque fournisseur que l'agent peut appeler.
L'API d'IA, le projet infonuagique, les outils d'envoi de courriels, le fournisseur de données. Repérez le contrôle qui arrête le trafic (la limite de dépenses d'Anthropic, la limite de dépenses ferme d'OpenAI) et fixez-le à un montant que vous pourriez perdre ce mois-ci. Là où il n'existe qu'une alerte, comme avec un budget Google Cloud, écrivez-le dans le guide d'exécution.
→ contrôle 1 : la boucle ne peut pas dépenser au-delà d'un montant que vous avez choisi - Fixez la limite de tours par tâche, comptée à travers les sous-tâches.
Remplacez la valeur par défaut de l'environnement d'exécution (10 dans le SDK OpenAI Agents, 1 000 dans LangGraph) par le nombre d'étapes prévu de la tâche plus une marge, et faites en sorte que les sous-tâches puisent dans le budget du parent. Mettez-la à l'épreuve avec une tâche impossible à terminer et regardez-la s'arrêter.
→ contrôle 2 : un réessai qui ne se résout jamais se termine en minutes, pas en heures - Dressez la liste des écritures et rendez chacune sûre à répéter.
Courriels, factures, enregistrements, paiements, suppressions. Donnez à chacune une clé tirée de la tâche et de l'étape, ou une vérification que l'effet existe déjà. Les suppressions et les paiements reçoivent une seconde règle : pas sans une personne, ou pas en production.
→ contrôle 3 : dix réessais, un seul effet de bord - Nommez l'interrupteur d'arrêt et mettez la restauration à l'essai.
Écrivez ce qui arrête la tâche et qui peut s'en servir. Gardez les identifiants de production hors de l'environnement de l'agent. Prenez la sauvegarde que l'agent ne peut pas atteindre et restaurez-en une fois, en plein jour, avant la première exécution sans supervision.
→ contrôle 4 : une personne peut y mettre fin, et les données reviennent - Alertez sur le rythme, puis provoquez un cas connu.
Une alerte sur les appels ou les coûts à l'heure au-dessus de la normale, qui avise une personne là où elle lit la nuit. Déclenchez-la exprès et chronométrez l'écart. Si l'écart est d'une journée, l'alerte est un rapport et le plafond fait tout le travail.
→ contrôle 5 : vous apprenez l'existence de la boucle pendant qu'elle coûte encore peu
Ces cinq contrôles sont la moitié « dépenses et rayon d'impact » de notre note sur la gouvernance, et ils passent avant l'autonomie dans l'ordre de construction, pour la raison visible dans les trois incidents : les personnes concernées avaient l'intention d'ajouter des contrôles et ne l'avaient pas encore fait.
Ce que cette note ne prétend pas.
Que ces incidents sont typiques. Ils sont documentés parce qu'ils étaient extrêmes ou publics. Nous n'avons aucune donnée sur la fréquence à laquelle les agents sans supervision bouclent ni sur les coûts moyens de ces boucles ; quiconque vous donne ce chiffre devrait en montrer la source.
Que les cinq contrôles auraient évité chaque cas. Un plafond ferme aurait borné la facture de Milkie Way, sans corriger la récursion. La séparation développement et production aurait gardé l'agent de Replit hors de la base de données, sans lui faire respecter le gel. Un prix plancher aurait sauvé un peu de marge à Claudius, sans en faire un commerçant. Ces mesures bornent les dégâts ; elles ne rendent pas l'agent compétent.
Que les valeurs par défaut resteront telles qu'imprimées. La valeur par défaut de LangGraph est passée à 1 000 à la version 1.0.6 ; les plafonds par palier d'Anthropic et les pages de limites d'OpenAI sont des réglages de fournisseurs. Les chiffres sont ceux lus le 2026-10-21, et le bon chiffre pour votre tâche est celui que vous fixez.
Que les sources sont neutres. Un fondateur, un utilisateur qui écrit sur un fournisseur et un laboratoire qui écrit sur son propre modèle ont chacun une position. Nous nous sommes appuyés sur ce que chacun dit contre son propre intérêt (Chauhan sur sa conception, Anthropic sur le fait de ne pas embaucher Claudius, Lemkin sur les limites du correctif de Replit) et nous avons étiqueté le reste comme des affirmations.
src/agents/run_config.py dans le code source du SDK, github.com. Documentation et code source du fournisseur. Utilisés pour la définition d'un tour (une invocation d'IA, appels d'outils éventuels compris), MaxTurnsExceeded, la désactivation de la limite en passant max_turns=None, l'option error_handlers et DEFAULT_MAX_TURNS = 10. Si vous avez un agent ou un flux de travail qui tourne pendant que personne ne regarde et que vous ne savez pas lequel des cinq contrôles il possède, décrivez-nous la tâche (ni identifiants ni données de clients) par le formulaire de contact. Nous vous répondrons par écrit, gratuitement, en vous indiquant le plafond, la limite et l'alerte que nous fixerions en premier. Poser ces contrôles autour des agents avant qu'ils tournent sans supervision fait partie de nos services d'automatisation de flux de travail.