Wenn ein kleineres KI-Modell für die Aufgabe ausreicht

Unternehmen setzen KI häufig so ein, dass sie das leistungsstärkste verfügbare Modell auswählen und jede Aufgabe daran weiterleiten. Kleinere Modelle machen diesen Ansatz jedoch immer schwerer zu rechtfertigen. Modelle mit 30 Milliarden Parametern oder weniger bewältigen mittlerweile ein immer breiteres Spektrum an geschäftlichen Aufgaben, und manche lassen sich sogar auf einem Laptop oder einem einzelnen Beschleuniger ausführen. Für routinemäßige Arbeitslasten, hat sich der Leistungsrückstand gegenüber größeren Frontier-Systemen so weit verringert, dass Kosten und Aufstellungsort nun bei der Kaufentscheidung eine Rolle spielen.

Beginnen Sie mit der Aufgabe, nicht mit der Modellrangliste

Das Extrahieren einer Rechnungsnummer erfordert nicht dieselbe Denkweise wie die Prüfung eines langen Rechtsvertrags. Die Einstufung einer Kundenanfrage unterscheidet sich vom Debuggen von Produktionscode. Die Verwendung eines einzigen „Frontier“-Modells für jede Aufgabe hält das Systemdesign einfach, doch das Unternehmen zahlt die mit dem „Frontier“-Modell verbundenen Kosten und Latenzzeiten, selbst wenn ein kleineres Modell das gleiche Betriebsergebnis liefert. Interne Tests liefern bessere Antworten auf die Beschaffungsfrage als ein öffentlicher Benchmark.

Wenn zwei Modelle bei der Rechnungsbearbeitung beide die erforderliche Genauigkeit erreichen, hat das schnellere oder kostengünstigere Modell den Vorteil. Sollte das kleinere Modell bei komplexen Verträgen versagen, leiten Sie diese Dokumente an eine andere Stelle weiter.

Lokale Modelle beeinflussen die Wahl der Infrastruktur

Kleinere Modelle können näher an den Unternehmenssystemen betrieben werden.

Ein Unternehmen kann ausgewählte Arbeitslasten auf seiner eigenen Infrastruktur verarbeiten, anstatt jede Anfrage an eine externe API zu senden. Auch bei einer lokalen Bereitstellung sind Zugriffskontrollen, Patches, Überwachung und eine sichere Infrastruktur erforderlich. Dadurch erhält das Unternehmen mehr Kontrolle darüber, wohin Informationen fließen und wie sich die Anwendung bei Ausfällen des Anbieters oder bei Kapazitätsengpässen verhält. Remote-Frontier-Modelle behalten bei Aufgaben mit komplexen Schlussfolgerungen, langem Kontext oder schwierigen Randfällen die Oberhand. Ein Modell muss nicht bei beiden Arten von Aufgaben die Nase vorn haben.

Routineaufgaben zuweisen und den Rest weiterleiten

Ein Unternehmen kann sich wiederholende, begrenzt komplexe Anfragen an ein kleineres Modell weiterleiten und komplexere Anfragen an ein leistungsfähigeres System weiterleiten. Die Architektur bringt zusätzlichen Aufwand mit sich. Die Teams benötigen Tests, Weiterleitungsregeln und Eskalationsschwellenwerte.

Die Einsparungen lassen sich nun beziffern. Wenn 80 Prozent der Anfragen bereits mit einem kleineren Modell das gewünschte Ergebnis liefern, werden durch die Zahlung der Preise für das „Frontier“-Modell für 100 Prozent der Anfragen Kapazitäten erworben, die bei den meisten Transaktionen ungenutzt bleiben.

Für Beschaffungsteams: Vergleichen Sie Kosten pro erfolgreich abgeschlossener Aufgabe, nicht allein der Modellpreis pro Token. Das stärkste Modell ist dort zu finden, wo eine fundiertere Argumentation das Ergebnis verändert.