Unternehmen erkennen die Kosten der KI-Inferenz

Die ersten KI-Budgets in Unternehmen konzentrierten sich stark auf experimentelle Zwecke. Unternehmen erwarben Softwarelizenzen, schulten Mitarbeiter und testeten generative Modelle in den Bereichen Kundenservice, Programmierung, Dokumentenanalyse und interne Suche, während die relativ geringe Nutzung es vielen Organisationen ermöglichte, die damit verbundenen Rechenkosten als zweitrangig zu betrachten. Da KI zunehmend in Routineabläufe integriert wird, entwickelt sich die Inferenz zu einem wiederkehrenden Betriebsaufwand, den Technologieteams mit derselben Disziplin verwalten müssen, die sie bereits bei der Cloud-Infrastruktur anwenden.

Jede Anfrage an ein generatives Modell beansprucht Rechenressourcen, wobei der Aufwand je nach Modellgröße, Länge der Eingabe, Länge der Ausgabe und Komplexität der Aufgabe stark variiert. Wenn ein Mitarbeiter gelegentlich ein Dokument zusammenfasst, entsteht dadurch kaum finanzieller Druck, während ein automatisiertes System, das Millionen von Kundeninteraktionen verarbeitet, erhebliche Kosten verursachen kann, selbst wenn jede einzelne Anfrage für sich genommen kostengünstig erscheint.

Agentische KI verstärkt diesen Effekt noch, da eine einzige Benutzeranweisung zahlreiche Modellaufrufe auslösen kann. Ein Agent, der beauftragt wird, einen Lieferanten zu recherchieren, könnte mehrere Datenbanken durchsuchen, Dokumente lesen, Informationen vergleichen, seine Schlussfolgerungen überarbeiten und eine abschließende Empfehlung erstellen, wobei jede dieser Phasen Tokens und Rechenressourcen verbraucht. Der Mitarbeiter sieht nur eine einzige Aufgabe, während die Infrastruktur im Hintergrund möglicherweise Dutzende einzelner Vorgänge ausführt.

Unternehmen müssen daher KI-Workloads anders abrechnen als herkömmliche Softwarelizenzen. Die Zahlung eines festen Jahresbetrags pro Mitarbeiter ermöglicht eine vorhersehbare Budgetplanung, doch nutzungsabhängige APIs und die interne Modellinfrastruktur verhalten sich eher wie Cloud-Computing, bei dem die Kosten davon abhängen, wie häufig Anwendungen ausgeführt werden und wie viel Kapazität sie beanspruchen.

Die Modellauswahl ist eine der wirksamsten Maßnahmen zur Kostenkontrolle. Viele Unternehmen leiten Anfragen zunächst an ihr leistungsfähigstes Modell weiter, da dies die Entwicklung vereinfacht und die Ausgabequalität während der Testphase maximiert. In Produktionsumgebungen ist für jede Aufgabe selten eine Schlussfolgerung auf höchstem Niveau erforderlich, insbesondere wenn Anwendungen Klassifizierungen, Extraktionen, Übersetzungen oder vorhersehbare Transformationen durchführen.

Routing-Systeme können einfachere Aufgaben kleineren Modellen zuweisen und gleichzeitig mehrdeutige oder anspruchsvolle Anfragen an leistungsfähigere Systeme weiterleiten. Die Architektur erfordert eine eingehendere Bewertung, da Entwickler wissen müssen, wann ein kleineres Modell ausreichend genau ist; dennoch können die Einsparungen beträchtlich sein, wenn Routineaufgaben den Großteil der Arbeitslast ausmachen.

Auch die Gestaltung der Eingabeaufforderungen wirkt sich auf die Infrastrukturkosten aus. Anwendungen, die wiederholt umfangreiche Konversationsverläufe oder ganze Dokumente an ein Modell senden, verbrauchen mehr Token als Systeme, die nur die für die aktuelle Aufgabe erforderlichen Informationen abrufen. Die Architektur des Abrufprozesses wird daher ebenso wie die Modellqualität zu einem Bestandteil des Kostenmanagements, insbesondere wenn Unternehmensagenten mit umfangreichen internen Wissensdatenbanken arbeiten.

Durch Caching lassen sich wiederholte Berechnungen vermeiden, wenn mehrere Nutzer ähnliche Fragen stellen oder wenn eine Anwendung immer wieder dieselben Kontextinformationen verarbeitet. Entwickler setzen seit Jahrzehnten vergleichbare Techniken in der gesamten Informatik ein, doch die generative KI wirft neue Fragen auf, welche Teile einer Eingabe sicher wiederverwendet werden können und wann neue Berechnungen weiterhin erforderlich sind.

Latenz und Kosten hängen oft zusammen, da größere Modelle in der Regel einen höheren Rechenaufwand erfordern. Eine Anwendung, die für eine einfache Aufgabe das leistungsstärkste verfügbare Modell einsetzt, kann daher zu längeren Wartezeiten für die Nutzer führen und gleichzeitig höhere Kosten verursachen. Kleinere Modelle können beide Kennzahlen verbessern, wenn ihre Leistungsfähigkeit der Arbeitslast entspricht.

Private Infrastruktur verändert die Kalkulation, ohne sie jedoch vollständig zu eliminieren. Ein Unternehmen, das Modelle auf seinen eigenen GPUs ausführt, vermeidet zwar die Zahlung pro Token an einen externen Anbieter, doch die Hardware verursacht weiterhin Anschaffungs-, Strom-, Kühlungs-, Wartungs- und Nutzungskosten. Teure Beschleuniger, die ungenutzt bleiben, können den Eigenbetrieb weniger wirtschaftlich machen als eine API, während eine stark ausgelastete Infrastruktur das gegenteilige Ergebnis bewirken kann.

Finanzteams werden für KI-Anwendungen zunehmend auf die „Unit Economics“ angewiesen sein. Ein Kundendienstmitarbeiter kann anhand der Kosten pro gelöster Interaktion bewertet werden, ein Dokumentenverarbeitungssystem anhand der Kosten pro Dokument und ein Programmierassistent anhand der im Verhältnis zu seinen Infrastrukturkosten erzielten Produktivitätssteigerung. Anhand solcher Kennzahlen können Unternehmen zwischen Anwendungen unterscheiden, die lediglich beeindruckende Technologie demonstrieren, und solchen, die die betriebliche Wirtschaftlichkeit verbessern.

Entwickler benötigen zudem Beschränkungen, die verhindern, dass autonome Systeme vor einem unbegrenzten Ressourcenverbrauch. Ein Agent, der eine fehlgeschlagene Aufgabe wiederholt erneut versucht, unnötige Suchvorgänge durchführt oder in eine Schlussfolgerungsschleife gerät, kann Kosten verursachen, ohne nützliche Ergebnisse zu liefern. Token-Budgets, Ausführungsbeschränkungen und Überwachungsmaßnahmen dienen daher sowohl als finanzielle Kontrollen als auch als technische Sicherheitsvorkehrungen.

Diese Entwicklung ähnelt der Entwicklung des Public-Cloud-Computing. In der Anfangsphase standen Flexibilität und Geschwindigkeit im Vordergrund, während erfahrene Nutzer schließlich FinOps-Verfahren entwickelten, da die bequeme On-Demand-Infrastruktur zu unerwartet hohen Rechnungen führen konnte. Die KI folgt einem vergleichbaren Verlauf, mit dem Unterschied, dass Mitarbeiter und autonome Agenten den Rechenbedarf durch natürliche Sprache statt durch explizite Infrastrukturanfragen generieren können.

Unternehmen werden weiterhin in leistungsstarke Modelle investieren, wenn die jeweilige Aufgabe dies rechtfertigt. Den Wettbewerbsvorteil werden zunehmend jene Organisationen für sich verbuchen, die erkennen, wann sie kein solches Modell benötigen, denn der groß angelegte Einsatz von KI erfordert, dass der Rechenaufwand dem wirtschaftlichen Wert der ausgeführten Arbeit entspricht.