Die Gewichte lassen sich nicht validieren: Output-Validierung für Vendor-LLMs

Fragen Sie Ihren LLM-Anbieter nach den Modellgewichten, erhalten Sie ein höfliches Nein. Fragen Sie nach den Trainingsdaten, den Architekturdetails, dem Fine-Tuning-Korpus, erhalten Sie dieselbe Antwort, verpackt in eine Geheimhaltungsvereinbarung. Das, was Ihre Abteilung für Modellrisiko validieren soll, ist vertraglich eine versiegelte Box. Und dennoch produziert das Modell Zahlen, die in einer Vorstandspräsentation, einem Kreditvotum oder einer aufsichtsrechtlichen Meldung landen.

Genau diese Lücke macht Validierungsverantwortlichen Sorgen, und das zu Recht. Das klassische Vorgehen – das Modell öffnen, die Rechnung prüfen, die konzeptionelle Stichhaltigkeit der Annahmen bestätigen – setzt voraus, dass man hineinsehen kann. Bei einem Frontier-Vendor-LLM können Sie das nicht. Die Frage lautet damit nicht länger „Ist das Modell korrekt?”, sondern „Kann ich beweisen, dass die Outputs korrekt sind – wiederholbar und ohne je hineinzusehen?”

Warum die Inspektion der Gewichte nie der einzige Weg war

SR 11-7 und die darauf aufbauenden Rahmenwerke standen von Anfang an auf zwei Beinen, nicht auf einem. Die konzeptionelle Stichhaltigkeit – ergibt das Design des Modells Sinn – ist das Bein, das alle zitieren. Das zweite Bein ist die Ergebnisanalyse: Stimmt der Output des Modells mit dem überein, was tatsächlich eingetreten ist, oder mit dem, was eine vertrauenswürdige Referenz erwarten lässt? Über Jahrzehnte hinweg haben Banken Vendor-Scorecards und Pricing-Modelle, die sie nicht vollständig öffnen konnten, validiert, indem sie sich stark auf dieses zweite Bein gestützt haben. Sie haben den Output gegen bekannte Ergebnisse gebenchmarkt.

Vendor-Modelle unterlagen schon immer dieser Regel. Die aufsichtsrechtliche Praxis hat durchgängig daran festgehalten, dass ein von Dritten zugekauftes Modell nach denselben Grundsätzen validiert wird wie ein selbst entwickeltes – das Verfahren passt sich den Einschränkungen an, der Maßstab sinkt jedoch nicht. Proprietäre Interna verschaffen Ihnen keinen Freibrief. Sie bürden Ihnen eine schwerere Last bei der Ergebnisprüfung auf.

LLMs treiben diese Logik schlicht an ihre Grenze. Es gibt keine Scorecard, in die man hineinschauen, keine Regressionskoeffizienten, die man auf Plausibilität prüfen könnte. Sie haben einen Prompt, der hineingeht, und Text, der herauskommt. Genau für diese Situation wurde die Ergebnisanalyse geschaffen. Die Verschiebung, die sich heute in der Modellrisiko-Praxis abzeichnet – und die Prüfer für ein Tier-1-Vendor-LLM zunehmend akzeptieren –, lautet: Die Output-Validierung gegen ein gelabeltes Benchmark-Set kann an die Stelle der Inspektion von Interna treten, die Sie ohnehin nie bekommen hätten.

Was Output-Validierung tatsächlich verlangt

Output-Validierung ist einfach zu formulieren und brutal in der Umsetzung. Sie brauchen eine Menge von Eingaben, die jeweils bekannte korrekte Antwort dazu und eine Methode, um die Antwort des Modells im großen Maßstab gegen diese Antwort zu bewerten. Drei Bausteine – und am zweiten scheitern die meisten Programme.

Das Benchmark-Set muss gelabelt sein. Bei einem Finanz-LLM bedeutet „gelabelt”, dass jede Frage im Set eine numerische Ground-Truth-Antwort besitzt, der Sie genug vertrauen, um sie als Bewertungsmaßstab heranzuziehen. Wie hoch war die Bruttomarge in Q3? Wie lautet die Liquiditätskennziffer (Current Ratio) nach dem Dezember-Abschluss? Wenn die Dezemberzahlen unsere 13-Wochen-Liquiditätsreichweite um 6 % verlängern, was bedeutet das für den Spielraum bei den Covenants? Jede dieser Fragen braucht eine einzige richtige Antwort, und diese Antwort muss belastbar sein – nicht „die beste Schätzung des Analysten”, sondern eine Zahl, die sich auf das Hauptbuch zurückführen lässt.

Das ist der Haken, den niemand laut aussprechen möchte. Sie können ein LLM nicht gegen Zahlen output-validieren, die Sie selbst nicht verteidigen können. Ein Benchmark, der auf einer Tabelle beruht, die nicht abgestimmt ist, ist ein Benchmark, der Fehler in Ihre Validierungsnachweise einschleust. Müll als Wahrheit hinein, falsches Vertrauen heraus.

Der Benchmark ist ein abgestimmtes Modell, kein Quiz

Hier kommt die Umdeutung, die das Ganze handhabbar macht. Der schwierigste Teil bei der Validierung eines Finanz-LLM ist nicht das LLM. Es ist die Erzeugung einer Ground Truth, hinter der Sie stehen können.

Ein abgestimmtes Finanzmodell – eine einzige Quelle der Wahrheit, die mit dem Hauptbuch übereinstimmt – ist genau diese Ground Truth. Wenn Ihre Zahlen aus einem Modell stammen, das sich auf den Cent genau mit QuickBooks, Xero, NetSuite, Sage oder Ihrem Data Warehouse abstimmt, dann ist jede Kennzahl darin eine vorgelabelte Benchmark-Antwort. Bruttomarge, Liquiditätsreichweite, Segmentbeitrag, die Covenant-Berechnung – all das hat einen bekannten korrekten Wert, weil das Modell, das diese Werte hält, abgestimmt, nachvollziehbar und prüffähig ist.

Um genau diese Architektur ist Rexfin herum aufgebaut, und es lohnt sich, ausdrücklich zu benennen, wie die einzelnen Teile zu einem Validierungsprogramm passen:

• Das gelabelte Set gibt es gratis. Jede Kennzahl in einem abgestimmten Modell ist eine Frage mit einer belastbaren Antwort. Ihr Benchmark ist kein Nebenprojekt, sondern eine Abfrage gegen Ihre Quelle der Wahrheit.
• Die Rechnung läuft nicht durch das LLM. Berechnungen werden in einer deterministischen Engine ausgeführt. Das Modell ruft Zahlen ab und formuliert Antworten; es übernimmt nicht die Arithmetik. Das eliminiert eine ganze Fehlerklasse – das LLM, das mit Überzeugung eine Zahl erfindet – und verwandelt sie in etwas, das Sie gezielt testen und abfangen können.
• Jeder Output ist bis zur Quelle nachvollziehbar. Wenn das Modell „die Liquiditätsreichweite beträgt 11 Monate” zurückgibt, können Sie diese Zahl über die Berechnung bis zu den abgestimmten Salden zurückverfolgen, auf denen sie beruht. Nachvollziehbarkeit ist das, was einen Validierungsbefund zu einem abgeschlossenen Punkt macht statt zu einer Diskussion.

Wenn der Benchmark ein abgestimmtes Modell ist und keine statische Lösungsliste, dann hört die quartalsweise Output-Validierung auf, ein Sonderprojekt zu sein. Sie führen das gelabelte Set nach jedem Abschluss erneut gegen das aktuelle Modell aus, bewerten die Antworten des LLM und protokollieren die Abweichungen. Gleiche Testumgebung, frische Wahrheit, jedes Quartal.

Was das nicht löst

Output-Validierung ist notwendig, aber nicht hinreichend – und ein glaubwürdiges Programm sagt das auch laut.

Ein Benchmark deckt nur die Fragen ab, die er enthält. Reale Nutzer fragen Dinge, die Sie nie gelabelt haben, in Formulierungen, die Sie nie vorhergesehen haben, und ein Modell, das Ihr Set mit Bestnoten besteht, kann am langen Ende dennoch in die Irre führen. Die Abdeckung bleibt eine dauerhaft offene Frage – Sie erweitern das Set, Sie ziehen Stichproben aus dem Produktivverkehr, Sie akzeptieren, dass ein Teil des Risikos außerhalb des Benchmarks lebt.

Output-Validierung sagt Ihnen außerdem nichts darüber, wie eine falsche Antwort zustande gekommen ist. Ein Anbieter kann klammheimlich eine kleinere oder quantisierte Variante des Modells einspielen, um Kosten zu senken, und Ihre Werte können abdriften, bevor Sie verstehen, warum. Deshalb geht die Output-Validierung mit laufendem Monitoring Hand in Hand, statt es zu ersetzen. Sie validieren quartalsweise und Sie beobachten kontinuierlich, denn die Box, die Sie nicht öffnen können, kann sich auch verändern, ohne es Ihnen mitzuteilen.

Und nichts davon betrifft das Retrieval. Wenn das Modell die falsche Zahl aus der richtigen Quelle zieht oder die richtige Zahl aus einer veralteten, dann ist das ein Fehler auf der Datenebene, den Ihr Output-Benchmark je nach Labeling abfängt – oder eben nicht. Die Validierung des Modells und die Kontrolle der Daten sind zwei verschiedene Aufgaben.

Das Fazit

Sie werden die Gewichte eines Vendor-LLM niemals validieren, und Sie sollten aufhören, ein Programm zu entwerfen, das so tut, als ginge das. Der belastbare Weg ist die Output-Validierung gegen einen gelabelten Benchmark – und der Benchmark ist der Teil, der darüber entscheidet, ob Ihre Nachweise echt sind. Bauen Sie ihn auf Zahlen, die sich mit dem Hauptbuch abstimmen, lassen Sie die Rechnung deterministisch laufen, damit das Modell nichts erfinden kann, halten Sie jede Antwort bis zur Quelle nachvollziehbar – und die quartalsweise Validierung wird zu einer Routine, die Sie einem Prüfer ohne Zögern vorlegen können.

Wenn Sie gerade ein Validierungsprogramm für ein Finanz-LLM aufbauen und der Benchmark das fehlende Teil ist, dann ist genau diese abgestimmte Ground-Truth-Ebene das, was wir gebaut haben. Demo buchen – und wir zeigen Ihnen, wie der Benchmark direkt aus dem Modell hervorgeht.

Für das größere Bild behandelt die Säule KI in der Finanzfunktion steuern, wie sich dies in den weiteren Kontrollrahmen einfügt – einschließlich der Frage, was sich am Modellrisiko-Rahmenwerk 2026 ändert, und der Referenzarchitektur für einen KI-Kontrollstack, die das Ganze zusammenhält.