Die Beobachtbarkeit von KI wird zu einer Anforderung im Produktivbetrieb

Herkömmliche Software liefert Technologieteams eine Reihe vertrauter Betriebssignale. Entwickler können überwachen, ob eine Anwendung reagiert, wie lange eine Datenbankabfrage dauert, ob einem Server der Arbeitsspeicher ausgeht und welcher Fehler zum Scheitern einer Anfrage geführt hat. KI-Anwendungen verhalten sich anders, da das System technisch einwandfrei funktionieren kann, während es gleichzeitig eine Antwort liefert, die ungenau, irrelevant oder für den jeweiligen Geschäftsprozess ungeeignet ist.

Der Einsatz in Unternehmen macht diese Lücke deutlich, da generative KI dort mittlerweile über das Experimentierstadium hinausgeht. Ein Chatbot, der von zehn Mitarbeitern genutzt wird, lässt sich noch informell überwachen, während ein KI-System, das Tausende von Kundeninteraktionen verarbeitet, eine Möglichkeit benötigt, Fehler zu erkennen, ohne dass ein Mensch jede Ausgabe manuell überprüfen muss.

Die KI-Beobachtbarkeit erweitert die Überwachung von der Infrastruktur auf das Modellverhalten. Unternehmen benötigen nach wie vor herkömmliche Kennzahlen wie Latenz, Verfügbarkeit und Rechenkosten, benötigen aber auch Informationen darüber, welche Daten das Modell erhalten hat, welche Dokumente es abgerufen hat, welche Tools es aufgerufen hat und wie sich die endgültige Antwort entwickelt hat.

Abfragesysteme veranschaulichen das Problem, da eine falsche Antwort bereits mehrere Schritte vor der Textgenerierung durch das Sprachmodell entstehen kann. Die Suchschicht könnte eine veraltete Richtlinie abrufen, ein Berechtigungsfilter könnte das falsche Dokument anzeigen oder ein Ranking-System könnte Informationen auswählen, die zwar technisch mit der Suchanfrage zusammenhängen, bei denen jedoch der relevante Abschnitt fehlt. Wenn nur das Endmodell überwacht wird, müssen die Entwicklerteams versuchen, einen Fehler zu diagnostizieren, ohne Einblick in die Kette zu haben, die ihn verursacht hat.

Agenten verstärken diesen Bedarf, da sie systemübergreifend agieren. Ein Agent kann beispielsweise eine Anfrage auswerten, eine Datenbank durchsuchen, eine API aufrufen, einen Datensatz ändern und eine Nachricht versenden. Das bedeutet, dass das Unternehmen die Abfolge der Vorgänge nachvollziehen können muss, wenn etwas schiefgeht. Die Protokollierung lediglich der Eröffnungsaufforderung und der abschließenden Antwort ist wenig hilfreich, wenn der Fehler beim vierten Tool-Aufruf aufgetreten ist.

Dank der Rückverfolgbarkeit können Teams diesen Ablauf rekonstruieren. Bei jedem Durchlauf können die Eingaben, das Modell, die abgerufenen Informationen, die Aktionen, die Berechtigungen und die Ergebnisse protokolliert werden, sodass Entwickler über genügend Kontextinformationen verfügen, um zu überprüfen, ob das System den vorgesehenen Prozess befolgt hat. Die Daten dienen zudem als Grundlage für Audit-Anforderungen, wenn Unternehmen darlegen müssen, wie eine automatisierte Entscheidung oder Aktion zustande gekommen ist.

Die Qualität lässt sich schwerer überwachen, da Sprache keinen einfachen Fehlercode ausgibt, wenn sie auf subtile Weise fehlerhaft wird. Unternehmen können auf der Grundlage realer Aufgaben Bewertungssätze entwickeln, repräsentative Ergebnisse bewerten und nachverfolgen, ob sich die Leistung ändert, wenn Modelle, Eingabeaufforderungen oder Datenquellen aktualisiert werden. Das Ziel besteht weniger darin, einen universellen Qualitätswert zuzuweisen, als vielmehr festzustellen, ob ein System weiterhin die jeweilige Aufgabe erfüllt, für die es von der Organisation eingesetzt wurde.

Modelländerungen machen eine kontinuierliche Bewertung wichtig, da Unternehmen zunehmend auf externe Anbieter zurückgreifen, die Modelle im Laufe der Zeit verbessern oder ersetzen. Ein Update kann zwar die allgemeine Schlussfolgerungsfähigkeit verbessern, gleichzeitig aber den Ton, die Formatierung oder das Verhalten in einem speziellen Arbeitsablauf verändern. Ohne Regressionstests können Teams diese Unterschiede erst erkennen, wenn Mitarbeiter oder Kunden sie melden.

Kosten gehören in dieselbe Beobachtungsschicht, da KI-Anwendungen variable Ressourcen verbrauchen. Ein Workflow kann weiterhin korrekte Antworten liefern, während sein Token-Verbrauch nach einer Änderung der Eingabeaufforderung allmählich ansteigt oder ein Agent beginnt, unnötige Tools aufzurufen. Durch die Verknüpfung von Qualität und Kosten können Teams erkennen, ob zusätzliche Rechenleistung das Ergebnis so weit verbessert, dass sich der Aufwand rechtfertigt.

Auch Sicherheitsteams benötigen Zugriff auf die Protokolle. Unerwartete Einfügungen, unzulässiger Datenzugriff und ungewöhnliches Tool-Verhalten zeigen sich häufig als Muster in der Agent-Aktivität und nicht als herkömmliche Malware-Warnmeldungen. Ein Agent, der plötzlich versucht, auf Informationen außerhalb seines üblichen Arbeitsablaufs zuzugreifen, sollte Aufmerksamkeit erregen, selbst wenn alle zugrunde liegenden Systeme technisch weiterhin verfügbar sind.

Der Datenschutz erschwert die Protokollierung, da die zur Diagnose von KI erforderlichen Informationen selbst sensible Daten enthalten können. Die uneingeschränkte Aufzeichnung jeder Eingabeaufforderung, jedes abgerufenen Dokuments und jeder Ausgabe kann zu einem neuen Repository führen, das Kundeninformationen, interne Dokumente und geschäftliche Entscheidungen enthält. Unternehmen benötigen daher Aufbewahrungsrichtlinien, Schwärzungsmaßnahmen und Zugriffskontrollen für Observability-Daten, anstatt Protokolle als harmlose technische Protokolle zu behandeln.

Unternehmer sollten sich daran beteiligen, da viele KI-Fehler nicht allein von Ingenieuren definiert werden können. Ein Kundenservice-Team erkennt, wenn eine technisch schlüssige Antwort gegen eine Richtlinie verstößt, während eine Finanzabteilung feststellen kann, wann ein Extraktionsfehler die wirtschaftliche Bedeutung eines Dokuments verändert. Eine effektive Überwachung kombiniert technische Telemetrie mit fachspezifischer Bewertung.

Die Betriebsmodell Dies ähnelt letztendlich eher einer Qualitätskontrolle als einer herkömmlichen Anwendungsüberwachung. Unternehmen definieren akzeptables Verhalten, erheben Stichproben der Ergebnisse, untersuchen Abweichungen und passen den Prozess an, während die Automatisierung einen ausreichenden Teil der Messungen übernimmt, um die Überwachung in großem Maßstab praktikabel zu machen.

KI-Systeme werden weiterhin probabilistische Ergebnisse liefern, was bedeutet, dass Unternehmen nicht jede unerwartete Antwort durch Tests vor der Inbetriebnahme ausschließen können. Die Produktionsüberwachung wird zu dem Mechanismus, der es ihnen ermöglicht, trotz dieser Unsicherheit zu arbeiten.

In der ersten Phase der Einführung von KI in Unternehmen haben sich die Firmen vor allem mit der Frage beschäftigt, welches Modell die beste Leistung erbringt. Nun, da diese Modelle in reale Arbeitsabläufe integriert werden, stellt sich eine zweite, ebenso praktische Frage: Kann das Unternehmen die Leistung des Systems gut genug nachvollziehen, um zu erkennen, wann es nicht mehr wie vorgesehen funktioniert?