Les entreprises prennent conscience du coût de l'inférence IA

Les premiers budgets d’IA des entreprises étaient largement consacrés à l’expérimentation. Les entreprises achetaient des licences logicielles, formaient leurs employés et testaient des modèles génératifs dans les domaines du service client, du codage, de l’analyse de documents et de la recherche interne, tandis que l’utilisation relativement modeste de ces technologies permettait à de nombreuses organisations de considérer les coûts informatiques sous-jacents comme secondaires. À mesure que l’IA s’intègre dans les flux de travail courants, l’inférence devient une dépense d’exploitation récurrente que les équipes techniques doivent gérer avec la même rigueur que celle qu’elles appliquent déjà à l’infrastructure cloud.

Chaque requête adressée à un modèle génératif mobilise des ressources informatiques, même si l'ampleur de cette consommation varie considérablement en fonction de la taille du modèle, de la longueur des données d'entrée et de sortie, ainsi que de la complexité de la tâche. Un employé qui résume occasionnellement un document n'engendre qu'une faible pression financière, tandis qu'un système automatisé traitant des millions d'interactions avec les clients peut générer des coûts substantiels, même si chaque requête prise individuellement semble peu coûteuse.

L'IA agentique amplifie cet effet, car une seule instruction de l'utilisateur peut déclencher de nombreux appels au modèle. Un agent chargé de rechercher un fournisseur pourrait consulter plusieurs bases de données, lire des documents, comparer des informations, réviser son raisonnement et formuler une recommandation finale, chaque étape consommant des jetons et des ressources de calcul. L'employé n'a l'impression d'effectuer qu'une seule tâche, alors que l'infrastructure peut exécuter en arrière-plan des dizaines d'opérations distinctes.

Les entreprises doivent donc évaluer les charges de travail liées à l'IA différemment des licences logicielles classiques. Le paiement d'un montant annuel fixe par employé permet une budgétisation prévisible, mais les API basées sur l'utilisation et l'infrastructure des modèles internes s'apparentent davantage au cloud computing, où le coût dépend de la fréquence d'exécution des applications et de la capacité qu'elles consomment.

La sélection de modèles constitue l'un des moyens les plus efficaces de maîtriser les coûts. De nombreuses organisations orientent dans un premier temps leurs requêtes vers leur modèle le plus performant, car cela simplifie le développement et optimise la qualité des résultats lors des tests. Les environnements de production ont rarement besoin d'un raisonnement de pointe pour chaque tâche, en particulier lorsque les applications effectuent des opérations de classification, d'extraction, de traduction ou de transformations prévisibles.

Les systèmes de routage peuvent attribuer les tâches les plus simples à des modèles plus petits, tout en transmettant les demandes ambiguës ou complexes à des systèmes plus performants. Cette architecture nécessite une analyse plus approfondie, car les développeurs doivent déterminer à quel moment un modèle plus petit offre un niveau de précision suffisant ; toutefois, les économies réalisées peuvent s'avérer substantielles lorsque les tâches courantes représentent la majeure partie de la charge de travail.

La conception des invites a également une incidence sur les coûts d'infrastructure. Les applications qui envoient de manière répétée d'énormes historiques de conversation ou des documents complets à un modèle consomment davantage de jetons que les systèmes qui ne récupèrent que les informations nécessaires à la tâche en cours. L'architecture de récupération fait donc partie intégrante de la gestion des coûts ainsi que de la qualité du modèle, en particulier lorsque les agents d'entreprise opèrent sur de vastes bases de connaissances internes.

La mise en cache permet de réduire les calculs redondants lorsque plusieurs utilisateurs posent des questions similaires ou lorsqu'une application traite de manière répétée des informations contextuelles identiques. Les développeurs utilisent des techniques similaires dans le domaine de l'informatique depuis des décennies, même si l'IA générative soulève de nouvelles questions quant aux parties d'une consigne pouvant être réutilisées en toute sécurité et aux cas où un nouveau calcul reste nécessaire.

La latence et le coût évoluent souvent de concert, car les modèles plus volumineux nécessitent généralement davantage de ressources de calcul. Une application qui utilise le modèle le plus puissant disponible pour une tâche simple peut donc allonger le temps d'attente des utilisateurs tout en engendrant des coûts plus élevés. Les modèles plus légers peuvent améliorer ces deux indicateurs lorsque leurs capacités sont adaptées à la charge de travail.

L'infrastructure privée modifie le calcul sans pour autant le supprimer. Une entreprise qui exécute des modèles sur ses propres GPU évite de payer un fournisseur externe pour chaque jeton, mais le matériel engendre tout de même des coûts d'acquisition, d'électricité, de refroidissement, de maintenance et d'utilisation. Des accélérateurs coûteux qui restent inactifs peuvent rendre l'auto-hébergement moins rentable qu'une API, tandis qu'une infrastructure fortement sollicitée peut produire l'effet inverse.

Les équipes financières auront de plus en plus besoin d'indicateurs de rentabilité unitaire pour les applications d'IA. Un agent du service client peut être évalué en fonction du coût par interaction résolue, un système de traitement de documents en fonction du coût par document et un assistant de codage en fonction du gain de productivité par rapport à ses coûts d'infrastructure. De tels indicateurs permettent aux entreprises de distinguer les applications qui se contentent de faire la démonstration d'une technologie impressionnante de celles qui améliorent la rentabilité opérationnelle.

Les développeurs ont également besoin de limites qui empêchent systèmes autonomes de consommer des ressources indéfiniment. Un agent qui tente à plusieurs reprises d'exécuter une tâche ayant échoué, effectue des recherches inutiles ou entre dans une boucle de raisonnement peut engendrer des coûts sans produire de résultats utiles. Les budgets de jetons, les limites d'exécution et la surveillance deviennent donc autant des contrôles financiers que des mesures de sécurité techniques.

Cette évolution rappelle celle du cloud public. Au début, l’accent était mis sur la flexibilité et la rapidité, tandis que les utilisateurs expérimentés ont fini par mettre en place des pratiques FinOps, car cette infrastructure à la demande, bien que pratique, pouvait entraîner des factures d’un montant inattendu. L’IA suit une trajectoire similaire, à cette différence près que les employés et les agents autonomes peuvent générer une demande de calcul en utilisant un langage naturel plutôt qu’en formulant des demandes d’infrastructure explicites.

Les entreprises continueront à investir dans des modèles puissants lorsque la tâche le justifie. L'avantage opérationnel reviendra de plus en plus aux organisations qui savent reconnaître quand elles n'en ont pas besoin, car le déploiement de l'IA à grande échelle nécessite d'adapter les coûts de calcul à la valeur économique du travail effectué.