Unternehmen erkennen, welche Kosten entstehen, wenn sie KI-Agenten länger arbeiten lassen
Forscher von OpenAI haben mithilfe von Programmieragenten den täglichen Token-Verbrauch auf ein Niveau getrieben, das weniger an ein Software-Abonnement als vielmehr an eine Recheninfrastruktur erinnert.
Business Insider berichtete, dass einige intensive interne Nutzer täglich mehr als $7.000 in Tokens ausgaben, während der Medianwert des täglichen Verbrauchs unter Forschern im Laufe des Sommers stark anstieg.
Die Zahlen stammen zwar aus einem KI-Labor und nicht aus einer gewöhnlichen IT-Abteilung eines Unternehmens, verdeutlichen jedoch ein Kostenmodell, mit dem Unternehmen konfrontiert sein werden, wenn die Agenten nicht mehr nur Fragen beantworten, sondern stundenweise Arbeit verrichten.
Ein Chatbot folgt einem offensichtlichen Interaktionsmuster: Ein Mitarbeiter sendet eine Anfrage. Das Modell antwortet. Die Nutzung ist beendet. Ein Agent liest Dateien, plant eine Aufgabe, ruft Tools auf, überarbeitet seinen Plan, schreibt Code, führt Tests durch, interpretiert Fehler und startet eine weitere Iteration. Jeder Schritt beansprucht die Modellinferenz. Parallele Agenten vervielfachen den Arbeitsaufwand erneut.
Unternehmen müssen daher messen, KI-Produktivität in Einheiten, die größer sind als der Preis einer einzelnen Anfrage. Ein Programmieragent, der 40 € kostet, um eine Aufgabe zu erledigen, für die ein Ingenieur früher drei Stunden gebraucht hat, erscheint kostengünstig. Ein Agent, der 40 € für eine Aufgabe ausgibt, die ein Ingenieur zwei Stunden lang prüft und anschließend umschreibt, hat ein anderes wirtschaftliches Ergebnis erzielt.
Wipro liefert Belege aus der anderen Perspektive. Das Unternehmen gibt an, dass KI Kapazitäten in einer Größenordnung freigesetzt hat, die der Arbeitsleistung von rund 20.000 Mitarbeitern entspricht, und diese Kapazitäten anderweitig eingesetzt hat. Der indische IT-Dienstleistungskonzern hat mehr als 100.000 Mitarbeiter in fortgeschrittenen KI-Kompetenzen geschult, während er die Arbeitsabläufe im Hinblick auf die Zusammenarbeit zwischen Menschen und KI neu organisiert.
Unternehmen müssen nun diese beiden Bilanzen miteinander verknüpfen: den verbrauchten Rechenaufwand und die erledigte Arbeit.
Viele frühe KI-Programme maßen die Anzahl der Lizenzen oder die Akzeptanz. Die Finanzabteilungen wussten, wie viele Mitarbeiter Zugang zu Copilot oder einem anderen Assistenten hatten. Diese Kennzahlen funktionierten, solange sich die Software wie ein auf Nutzerlizenzen basierendes Produktivitätswerkzeug verhielt.
Agentenbasierte Systeme verbrauchen Ressourcen entsprechend der Arbeitslast.
Ein Mitarbeiter lässt vielleicht zweimal pro Woche einen kleinen Agenten laufen. Ein anderes Entwicklerteam sendet möglicherweise täglich Millionen von Token durch mehrere Modelle. Die Beschaffungsabteilung kann diese zweite Arbeitslast nicht nachvollziehen, indem sie lediglich die Anzahl der Lizenzen zählt.
Die Routenplanung wird zu einem Bestandteil der Kostenkontrolle.
Ein Unternehmen benötigt nicht sein teuerstes Modell, um jedes Dokument zu klassifizieren oder jeden Zwischenschritt auszuführen. Kleinere Modelle übernehmen Routineaufgaben, während leistungsstärkere Modelle mit Aufgaben betraut werden, die ein tieferes logisches Denken erfordern. Lokale Modelle bewältigen bestimmte vorhersehbare Arbeitslasten ohne abrechnungspflichtige API-Aufrufe, wobei das Unternehmen dennoch für die ihnen zugrunde liegende Infrastruktur bezahlt.
Entwicklerteams optimieren bereits Datenbanken, Cloud-Instanzen und Speicher, da deren Nutzung Kosten verursacht. Die KI-Inferenz gehört in denselben Bereich.
Auch Budgets benötigen Grenzen, die der jeweiligen Aufgabe gerecht werden. Eine starre Obergrenze verhindert zwar ausufernde Ausgaben, könnte aber auch dazu führen, dass nützliche Arbeit auf halbem Wege gestoppt wird. Ein Agent, der denselben fehlgeschlagenen Test zwanzig Mal wiederholt hat, verdient eine andere Vorgehensweise als einer, der ein legitimes Archiv mit Tausenden von Dateien verarbeitet.
Die Beobachtbarkeit ist daher sowohl finanzieller als auch technischer Natur. Die Teams müssen erkennen können, welcher Agent die Ressourcen verbraucht hat, welcher Workflow den Lauf ausgelöst hat, wie viele Wiederholungsversuche stattgefunden haben und ob eine Person die Ausgabe akzeptiert hat.
Ein Unternehmen, das die Ausgaben für Inferenz nicht mit der geleisteten Arbeit in Verbindung bringen kann, ist nicht in der Lage, den Ertrag aus agentenbasierter KI zu berechnen. Die erste Generation der Unternehmens-KI verkaufte Zugriffsrechte. Die nächste Generation stellt eine Rechnung für Rechenleistung aus.
