Unternehmen müssen aufhören, KI mit Fragen zu testen, die niemand stellt

Die Bewertung von KI in Unternehmen beginnt oft mit Benchmarks, da diese eine scheinbar objektive Möglichkeit bieten, Modelle miteinander zu vergleichen. Ein System erzielt bei mathematischen Aufgaben höhere Punktzahlen, ein anderes liegt bei einem Programmier-Benchmark an der Spitze und ein drittes schneidet bei einem breit angelegten akademischen Test besser ab – so können Beschaffungsteams den Modellen Zahlen zuordnen, deren Ergebnisse sich sonst nur schwer vergleichen ließen. Das Problem entsteht, wenn Unternehmen davon ausgehen, dass ein Vorteil im Benchmark die Leistung in ihrem eigenen Unternehmen vorhersagt.

Ein Versicherungsunternehmen benötigt kein Modell, das bei jeder wissenschaftlichen Fragestellung auf Hochschulniveau hervorragende Leistungen erbringt, wenn seine Hauptaufgabe darin besteht, Informationen aus Schadensunterlagen zu extrahieren. Ein Hersteller, der einen Agenten zur Diagnose von Geräteproblemen einsetzt, legt Wert darauf, dass das System Wartungsverfahren befolgt und Unsicherheiten erkennt, während eine Bank möglicherweise der zuverlässigen Verarbeitung von Richtlinien- und Compliance-Informationen Vorrang vor allgemeinen Konversationsfähigkeiten einräumt.

Eine sinnvolle Bewertung beginnt daher bei der Arbeit selbst und nicht beim Modell. Teams müssen ermitteln, welche Aufgaben die Mitarbeiter tatsächlich ausführen, welche Fehler Konsequenzen nach sich ziehen und welches Qualitätsniveau erforderlich ist, bevor die Automatisierung mehr Wert schafft als die Kosten für die Überwachung betragen.

Reale Beispiele eignen sich besser als Testmaterial als erfundene Aufgabenstellungen, da die Sprache in Unternehmen Mehrdeutigkeiten enthält, die generische Benchmark-Tests übersehen. Kundennamen ähneln Produktcodes, Abkürzungen haben in verschiedenen Abteilungen unterschiedliche Bedeutungen, und interne Richtlinien basieren auf Annahmen, die Mitarbeiter eher aus Erfahrung als aus Dokumentationen gelernt haben.

Ein aus realen Arbeitsaufgaben zusammengestellter Testdatensatz deckt solche Probleme frühzeitig auf. Unternehmen können sensible Informationen entfernen, die Struktur der Aufgabe beibehalten und prüfen, ob verschiedene Modelle Ergebnisse liefern, die Mitarbeiter tatsächlich nutzen würden.

Auch für die Korrektheit bedarf es einer Definition, die dem Arbeitsablauf angemessen ist. Eine numerische Extraktion lässt sich oft exakt bewerten, während eine strategische Zusammenfassung mehrere akzeptable Antworten enthalten kann. Werden beide Aufgaben nach derselben Bewertungsmetrik beurteilt, entsteht der Anschein von Präzision, ohne dass die Qualität gemessen wird, auf die es den Mitarbeitern ankommt.

Die menschliche Bewertung ist für subjektive Aufgaben nach wie vor nützlich, allerdings benötigen Organisationen klare Kriterien, wenn mehrere Prüfer beteiligt sind. Die Frage, ob eine Antwort “gut” ist, führt zu uneinheitlichen Beurteilungen; die Frage, ob ein wesentliches Risiko ausgelassen wurde, ob unbegründete Informationen verwendet wurden oder ob das vorgeschriebene Format nicht eingehalten wurde, liefert hingegen besser vergleichbare Ergebnisse.

Paarweise Vergleiche können hilfreich sein, wenn eine absolute Bewertung schwierig ist. Gutachter können zwei anonymisierte Ergebnisse prüfen und entscheiden, welches im tatsächlichen Arbeitsablauf nützlicher wäre. So können Unternehmen Systeme vergleichen, ohne so zu tun, als ließe sich die Qualität des Schreibstils immer auf einen objektiven Prozentsatz reduzieren.

Die Kosten sind Teil der Bewertung, da eine Verbesserung nur im Verhältnis zu den dafür erforderlichen Aufwendungen einen wirtschaftlichen Wert hat. Ein Modell, das bei fünfmal so hohen Inferenzkosten etwas aussagekräftigere Zusammenfassungen liefert, kann sich für die Anlageforschung durchaus lohnen, lässt sich jedoch für Millionen von routinemäßigen Kundeninteraktionen nur schwer rechtfertigen.

Die Latenzzeit spielt aus ähnlichen Gründen eine Rolle. Mitarbeiter akzeptieren vielleicht eine Minute Wartezeit, wenn das System einen komplexen Vertrag analysiert, während es für einen Kundendienstmitarbeiter frustrierend ist, wenn jede einfache Anfrage mehrere Sekunden länger dauert, als der Nutzer erwartet.

Agentenbasierte Systeme erfordern eine Bewertung sowohl des Prozesses als auch des Endergebnisses. Ein Agent kann zu einem korrekten Ergebnis gelangen, obwohl er dabei unnötige Tool-Aufrufe durchgeführt, auf Informationen außerhalb seines zugewiesenen Bereichs zugegriffen oder eine Aktion ausgeführt hat, die in der Testumgebung zufällig harmlos war.

Unternehmen benötigen daher Nachweise darüber, welche Schritte durchgeführt wurden. Das Endergebnis kann zwar hervorragend aussehen, doch der Weg dorthin offenbart möglicherweise ein Sicherheits-, Kosten- oder Zuverlässigkeitsproblem, das sich verschärfen wird, sobald das System in großem Maßstab betrieben wird.

Fehlertests sollten stärker gewichtet werden als die durchschnittliche Leistung. Ein System, das bei 98 Prozent der Rechnungen erfolgreich ist, kann dennoch ungeeignet sein, wenn es sich bei den verbleibenden 2 Prozent gerade um die Dokumente handelt, die die höchsten Zahlungsbeträge enthalten, während bei einem medizinischen oder Compliance-Workflow die Risiken auf seltene Fälle konzentriert sein können.

Bei den Tests sollten bewusst schlechte Scans, widersprüchliche Dokumente, fehlende Informationen und böswillige Anweisungen berücksichtigt werden, da all dies in Produktionsumgebungen vorkommt. Modelle, die ausschließlich anhand einwandfreier Beispiele evaluiert werden, erscheinen zuverlässiger als die Systeme, mit denen die Nutzer letztendlich konfrontiert werden.

Auch Unsicherheit muss gemessen werden. Ein KI-System, das zugibt, dass ihm ausreichende Informationen fehlen, kann nützlicher sein als eines mit höherer durchschnittlicher Genauigkeit, das selbst dann selbstbewusst antwortet, wenn Beweise fehlen – insbesondere in Arbeitsabläufen, in denen ein Mensch unsichere Fälle klären kann.

Unternehmen können diese Fälle weiterleiten, anstatt eine perfekte Automatisierung zu verlangen. Das System erledigt Routineaufgaben automatisch, leitet unklare Fälle weiter und erweitert schrittweise seinen Anwendungsbereich, sobald die Auswertung zeigt, dass zusätzliche Kategorien zuverlässig funktionieren.

Durch Modellaktualisierungen wird der Prozess kontinuierlich gestaltet. Anbieter wechseln die Systeme, Unternehmen passen die Eingabeaufforderungen an und interne Daten entwickeln sich weiter, was bedeutet, dass sich eine Anwendung, die vor sechs Monaten die Bewertung bestanden hat, möglicherweise anders verhält, ohne dass jemand ihre sichtbare Benutzeroberfläche geändert hat.

Regressionstests können solche Veränderungen aufdecken, indem sie repräsentative Testfälle ausführen, sobald sich eine zugrunde liegende Komponente ändert. Das Prinzip entspricht den üblichen Methoden der Softwareentwicklung, auch wenn die Ergebnisse probabilistisch sind.

Führungsteams sollten zudem davon absehen, einen unternehmensweiten KI-Wert zu ermitteln. Verschiedene Anwendungen erfordern unterschiedliche Schwellenwerte, da die Zusammenfassung einer internen Besprechung und die Genehmigung einer Finanztransaktion nicht dieselbe Fehlertoleranz erfordern.

Das Modell mit dem besten öffentlichen Benchmark-Ergebnis kann dennoch die falsche Wahl sein, wenn ein anderes System die spezifische Aufgabe des Unternehmens zuverlässiger, schneller oder kostengünstiger erfüllt. Sobald Unternehmens-KI über Experimentieren, muss die Bewertung eine weniger glamouröse Frage beantworten als die, welche Modell ist der Klügste: derjenige, der konsequent die Arbeit erledigt, die die Organisation tatsächlich benötigt.