Les entreprises prennent conscience du coût lié au fait de laisser les agents IA travailler plus longtemps

Les chercheurs d'OpenAI, grâce à l'utilisation d'agents de codage, ont fait passer la consommation quotidienne de jetons à un niveau qui s'apparente moins à un abonnement logiciel qu'à une infrastructure informatique.

Business Insider a rapporté que certains grands utilisateurs internes dépensaient plus de $7 000 par jour en jetons, tandis que la consommation quotidienne médiane chez les chercheurs a fortement augmenté au cours de l'été.

Ces chiffres proviennent d'un laboratoire d'intelligence artificielle plutôt que d'un service informatique d'entreprise classique, mais ils mettent en évidence un modèle de coûts auquel les entreprises seront confrontées à mesure que les agents passeront de la simple réponse à des questions à l'exécution de tâches nécessitant plusieurs heures de travail.

Un chatbot suit un schéma d'interaction bien défini. Un employé envoie une requête. Le modèle répond. L'interaction prend fin. Un agent lit des fichiers, planifie une tâche, utilise des outils, révise son plan, écrit du code, effectue des tests, interprète les erreurs et entame une nouvelle itération. Chaque étape nécessite une inférence du modèle. Les agents travaillant en parallèle multiplient encore la charge de travail.

Les entreprises doivent donc mesurer Productivité grâce à l'IA en quantités supérieures au prix d'une seule instruction. Un agent de programmation qui coûte 40 € pour réaliser une tâche autrefois effectuée par un ingénieur en trois heures semble peu coûteux. En revanche, un agent qui dépense 40 € pour une tâche qu'un ingénieur passe deux heures à relire avant de la réécrire produit un résultat économique différent.

Wipro apporte des éléments de réponse contraires. L'entreprise affirme que l'IA a libéré des capacités équivalentes à la production d'environ 20 000 travailleurs et qu'elle a réaffecté ces capacités à d'autres tâches. Le groupe indien de services informatiques a formé plus de 100 000 employés aux compétences avancées en matière d'IA, dans le cadre de la réorganisation du travail axée sur la collaboration entre l'humain et l'IA.

Les entreprises doivent désormais relier ces deux registres : la puissance de calcul consommée et le travail effectué.

De nombreux programmes d'IA de la première génération mesuraient le nombre de licences ou le taux d'adoption. Les équipes financières savaient combien d'employés avaient accès à Copilot ou à un autre assistant. Ces indicateurs étaient pertinents tant que le logiciel fonctionnait comme un outil de productivité basé sur le nombre de postes.

Les systèmes à agents consomment des ressources en fonction de la charge de travail.

Un employé peut exécuter un petit agent deux fois par semaine. Une autre équipe d'ingénieurs peut, quant à elle, envoyer chaque jour des millions de jetons à travers plusieurs modèles. Le service des achats ne peut pas appréhender cette deuxième charge de travail en se basant uniquement sur le nombre de postes.

La planification des itinéraires s'inscrit dans le cadre de la maîtrise des coûts.

Une entreprise n'a pas besoin de recourir à son modèle le plus coûteux pour classer chaque document ou effectuer chaque étape intermédiaire. Les modèles plus modestes se chargent des tâches courantes, tandis que les modèles plus puissants prennent en charge les tâches qui nécessitent un raisonnement plus approfondi. Les modèles locaux traitent certaines charges de travail prévisibles sans que les appels à l'API ne soient facturés à l'utilisation, même si l'entreprise continue de payer pour l'infrastructure sous-jacente.

Les équipes d'ingénieurs optimisent déjà les bases de données, les instances cloud et le stockage, car leur utilisation engendre des coûts. L'inférence par IA relève de la même discipline.

Les budgets doivent également être assortis de limites adaptées à la tâche à accomplir. Un plafond strict en jetons empêche les dépenses incontrôlées, mais risque de mettre un terme à un travail utile avant qu’il ne soit achevé. Un agent qui a échoué vingt fois au même test mérite une intervention différente de celle destinée à un agent traitant une archive légitime contenant des milliers de fichiers.

L'observabilité revêt donc une dimension à la fois financière et technique. Les équipes doivent pouvoir identifier quel agent a consommé les ressources, quel workflow a déclenché l'exécution, combien de tentatives ont eu lieu et si une personne a validé le résultat.

Une entreprise qui ne parvient pas à établir un lien entre les dépenses liées à l'inférence et le travail accompli ne peut pas calculer le retour sur investissement de l'IA agentique. La première génération d'IA d'entreprise vendait un accès. La suivante envoie une facture de ressources informatiques.