Quand un modèle d'IA plus petit suffit pour la tâche

Les entreprises adoptent souvent l'IA en choisissant le modèle le plus puissant disponible et en lui confiant toutes leurs tâches. L'émergence de modèles plus petits rend cette approche de plus en plus difficile à justifier. Des modèles comportant 30 milliards de paramètres ou moins prennent désormais en charge un éventail croissant de tâches métier, et certains fonctionnent sur un ordinateur portable ou un seul accélérateur. Pour tâches courantes, l'écart de performances par rapport aux systèmes « frontier » de plus grande taille s'est suffisamment réduit pour que le coût et le lieu de déploiement entrent désormais en ligne de compte dans la décision d'achat.

Commencez par la tâche, et non par le classement des modèles

L'extraction d'un numéro de facture ne nécessite pas le même raisonnement que l'examen d'un long contrat juridique. Le classement d'une demande client diffère du débogage d'un code de production. L'utilisation d'un modèle « frontier » pour chaque tâche simplifie la conception du système, mais l'entreprise doit supporter les coûts et la latence associés à ce modèle, même lorsqu'un modèle plus petit produit le même résultat opérationnel. Les tests internes apportent une meilleure réponse à la question de l'achat qu'un benchmark public.

Si deux modèles atteignent tous deux le niveau de précision requis pour le traitement des factures, celui qui est le plus rapide ou le moins cher présente un avantage. Si le plus petit des deux modèles ne parvient pas à traiter les contrats complexes, redirigez ces documents vers un autre service.

Les modèles locaux influencent le choix des infrastructures

Les modèles de plus petite taille peuvent fonctionner à proximité des systèmes de l'entreprise.

Une entreprise peut traiter certaines charges de travail sur sa propre infrastructure plutôt que d’envoyer chaque requête à une API externe. Le déploiement local nécessite toutefois des contrôles d’accès, l’application de correctifs, une surveillance et une infrastructure sécurisée. Il offre à l’entreprise un meilleur contrôle sur le parcours des informations et sur le comportement de l’application en cas de panne chez le fournisseur ou de limites de capacité. Les modèles « Remote Frontier » conservent un avantage pour les tâches impliquant un raisonnement complexe, un contexte étendu ou des cas limites difficiles. Un même modèle n’a pas besoin d’être performant dans les deux types de tâches.

Traiter les tâches courantes et transmettre les autres à un niveau supérieur

Une entreprise peut envoyer des requêtes répétitives et limitées à un modèle plus petit, et transférer les requêtes plus complexes vers un système plus puissant. Cette architecture implique un surcroît de travail. Les équipes ont besoin de tests, de règles de routage et de seuils d'escalade.

Les économies deviennent mesurables. Si 80 % des requêtes aboutissent au résultat escompté avec un modèle plus petit, payer le prix du modèle de pointe pour la totalité (100 %) revient à acquérir des capacités qui restent inutilisées dans la plupart des transactions.

Pour les équipes chargées des achats, comparez coût par tâche menée à bien, et non pas uniquement le prix modélisé par jeton. Le modèle le plus solide est celui pour lequel un raisonnement plus rigoureux modifie le résultat.