Einen Finance-Agenten bewerten: Bauen Sie die Genauigkeits-Scorecard, bevor Sie den Zahlen vertrauen

Ein Anbieter betritt Ihren Konferenzraum, tippt „Wie hoch war unsere Bruttomarge im letzten Quartal und warum hat sie sich verändert?“ in ein geschliffenes Chatfenster, und nach vier Sekunden erscheint eine Antwort mit einem selbstbewussten Absatz und einem Diagramm. Der Raum nickt. Jemand sagt: „Das nehmen wir.“

Diese Demo hat genau eine Sache bewiesen: Der Agent kann eine plausibel aussehende Antwort auf eine Frage erzeugen, die der Anbieter ausgewählt hat, auf Daten, die der Anbieter aufbereitet hat – ohne dass Sie irgendeine Möglichkeit hätten, zu prüfen, ob die Zahl stimmt. Das ist Theater. Und in der Lücke zwischen „sieht richtig aus“ und „ist richtig“ enden Karrieren.

Die unbequemen Benchmark-Zahlen bestätigen das. Bei FinanceBench, einer Testsammlung aus Frage-Antwort-Beleg-Tripeln auf Basis echter SEC-Einreichungen, beantworteten die Modelle nur rund 47 % realistischer Fragen korrekt, lagen bei 26 % schlicht falsch und scheiterten oder verweigerten bei den übrigen. Eine vielzitierte Konfiguration von GPT-4-Turbo mit Retrieval verfehlte oder umging rund 81 % der Fragen. Das sind keine Spielaufgaben. Es ist genau jene Art von „lies die Einreichung, finde die Kennzahl, ziehe daraus Schlüsse“-Arbeit, die ein Finanzteam jeden Tag leistet.

Bevor also irgendein Agent Ihr Reporting berührt, brauchen Sie Ihren eigenen Test. Nicht den des Anbieters. Ihren.

Warum eine einzige Demo-Frage die falsche Messeinheit ist

Das tiefer liegende Problem ist, dass eine einzelne richtige Antwort nichts über die nächste aussagt. Große Sprachmodelle arbeiten probabilistisch. Stellen Sie dieselbe Frage zweimal, und Sie können zwei verschiedene Zahlen erhalten – selbst bei einer auf null fixierten Temperatur, wegen Rundung in der Gleitkomma-Arithmetik, GPU-Kernel-Verhalten und Batch-Size-Effekten, die sich Ihrer Kontrolle entziehen. Veröffentlichte Untersuchungen zur Ergebnisdrift in Finanzworkflows haben Genauigkeitsschwankungen von bis zu 15 % über identische Durchläufe gemessen, mit deutlich größeren Abständen zwischen bestem und schlechtestem Lauf.

Für einen CFO ist genau das die entscheidende Frage. Ein Werkzeug, das in 90 % der Fälle richtig liegt, ist nicht etwa eines, das in 10 % der Fälle auf eine planbare Weise falsch liegt. Es ist ein Werkzeug, das bei jedem Durchlauf bei anderen, unvorhersehbaren 10 % danebenliegt. Darauf können Sie keine Vorlage für den Aufsichtsrat unterschreiben. Das können Sie keinem Prüfer vorlegen.

Eine Genauigkeits-Scorecard existiert, um „in der Demo fühlte es sich richtig an“ in eine Zahl zu überführen, die Sie verteidigen können: eine gemessene Trefferquote gegen bekannt-korrekte Antworten, die Sie auf Abruf erneut ausführen können.

Die drei Dinge, die die Scorecard messen muss

Die meisten Bewertungsansätze messen nur eine Sache – hat es die Antwort getroffen? – und hören dann auf. Für den Finanzbereich reicht das nicht. Sie brauchen drei Dimensionen, denn ein Agent kann auf drei voneinander unabhängige Weisen scheitern.

Genauigkeit auf Feldebene. Stimmt die Kennzahl mit der abgestimmten Wahrheit überein, auf den Cent oder auf die korrekte Rundung? Nicht „liegt die Antwort in der richtigen Größenordnung“. Ein Umsatz von 48,2 Mio. USD, wenn das Hauptbuch 48,7 Mio. USD ausweist, ist kein knapper Fehlschlag. Es ist falsch. Bewerten Sie jede Kennzahl als hartes Bestanden oder Durchgefallen gegen einen bekannten Wert.

Antwortkonsistenz. Stellen Sie dieselbe Frage fünfmal, in fünf separaten Durchläufen, idealerweise an verschiedenen Tagen. Erhalten Sie jedes Mal dieselbe Zahl? Inkonsistenz ist ein eigener Fehlermodus, getrennt von der Genauigkeit. Ein Agent, der im ersten Lauf korrekt ist und im vierten Lauf unbemerkt abdriftet, ist gefährlicher als einer, der zuverlässig falsch liegt – denn den falschen hätten Sie bemerkt.

Nachvollziehbarkeit. Kann der Agent für jede Kennzahl zeigen, woher sie stammt – welches Konto, welche Periode, welcher Quelldatensatz –, sodass ein Mensch den Pfad nachvollziehen kann? Eine Antwort, die Sie nicht zurückverfolgen können, ist eine Antwort, die Sie nicht prüfen können. Warum Wiederholbarkeit keine nette Zusatzfunktion, sondern eine harte Anforderung ist, haben wir in Audit-Trails, die Entscheidungen aufzeichnen – nicht nur Aktionen behandelt.

Sie können keinen Test benoten, ohne einen Lösungsschlüssel

Hier kommt der Teil, den alle überspringen. Um die Genauigkeit auf Feldebene zu messen, brauchen Sie Ground Truth: eine Reihe von Finanzfragen, deren korrekte Antworten Sie bereits kennen und denen Sie vertrauen. Und diese Antworten müssen aus einer Quelle stammen, die sich mit dem Hauptbuch abstimmen lässt – nicht von einer zweiten KI, nicht aus dem Gedächtnis eines Controllers, nicht aus der Präsentation des letzten Quartals.

Genau hier brechen die meisten Bewertungsprojekte still in sich zusammen. Teams stellen fest, dass sie in Wahrheit gar keine saubere Quelle der Wahrheit haben, gegen die sie benoten könnten. Ihre Zahlen leben in drei Systemen, die sich an den Rändern widersprechen, in einem halben Dutzend Tabellen und in einer Konsolidierungsmappe, die nur eine einzige Person versteht. Wenn Ihre „richtige Antwort“ selbst nicht abgestimmt ist, misst Ihre Scorecard einen Agenten gegen eine Vermutung.

Den Lösungsschlüssel aufzubauen ist deshalb die eigentliche Arbeit. Wählen Sie 50 bis 100 Fragen, die die tatsächlich relevanten Muster abdecken: Punktabfragen (Kassenbestand zum Periodenende), Berechnungen (Bruttomarge, Veränderung gegenüber dem Vorjahr, eine Covenant-Kennzahl), periodenübergreifende Vergleiche und mindestens einige mehrgesellschaftliche oder konsolidierte Fragen, in denen sich Fehler besonders gern verstecken. Verankern Sie für jede die korrekte Antwort gegen Ihr abgestimmtes Modell. Diese Sammlung ist Ihr Golden Dataset – und das Wertvollste, was die Übung hervorbringt. Wie Sie eines zusammenstellen, vertiefen wir in So unterziehen Sie ein KI-Finanztool einem Stresstest.

In der Praxis: die Scorecard im Einsatz

Sobald der Lösungsschlüssel existiert, läuft das Prüfgerüst mechanisch ab. Legen Sie vorab einen Schwellenwert fest – wir würden nichts unterhalb von 95 % Genauigkeit auf Feldebene in die Nähe externer Berichterstattung lassen – und benoten Sie dagegen.

• Genauigkeits-Trefferquote. Anteil der Kennzahlen, die exakt mit der Ground Truth übereinstimmen. Berichten Sie sie je Fragetyp, nicht nur als Gesamtwert; ein Agent kann bei Punktabfragen glänzen und bei jeder Berechnung scheitern, und ein gemischter Wert verschleiert das.
• Konsistenzquote. Anteil der Fragen, die über alle wiederholten Durchläufe hinweg eine identische Antwort liefern. Alles unter 100 % bei Kennzahlen ist ein Warnsignal, das Sie verstehen sollten, bevor Sie weitermachen.
• Nachvollziehbarkeitsquote. Anteil der Antworten, die einen Quellpfad enthalten, dem ein Mensch bis zum Hauptbuch zurück folgen kann.
• Drift. Führen Sie die gesamte Scorecard monatlich erneut aus. Modelle werden stillschweigend aktualisiert. Ihre Daten verändern sich. Ein Werkzeug, das im März bestanden hat, kann im Juni durchfallen – und nur ein laufender Test wird Ihnen das verraten.

Eine unverblümte Meinung: Wenn ein Anbieter sich sträubt, sein Werkzeug gegen Ihr Golden Dataset laufen zu lassen, oder Ihnen „bei der Vorbereitung der Fragen helfen“ möchte, dann haben Sie erfahren, was Sie wissen mussten. Der Sinn der Scorecard besteht gerade darin, dass nicht der Anbieter den Test aussucht.

Die Bedingung, mit der niemand wirbt

Nichts davon funktioniert, wenn der Agent die Rechnerei selbst erledigt. Ein LLM, das eine Kennzahl bei jedem Durchlauf neu berechnet, wird bei jedem Durchlauf abdriften – das ist kein Tuning-Problem, das ist genau das, was die Architektur tut. Die Agenten, die einen Konsistenztest bestehen, sind jene, die Kennzahlen aus einem einzigen abgestimmten Modell abrufen und jede Berechnung durch eine deterministische Engine schicken, sodass identische Eingaben konstruktionsbedingt identische Ausgaben erzeugen. Das Schlussfolgern darf probabilistisch bleiben. Die Mathematik nicht. Diese Trennung ist die ganze These des Agentic-AI-Trust-Layers, und sie ist der Grund, warum wir Rexfin so gebaut haben, dass die Zahlen aus einer einzigen Quelle der Wahrheit stammen, die sich mit dem Hauptbuch abstimmen lässt, und sich die Antwort stets dorthin zurückverfolgen lässt.

Eine Scorecard ist der Weg, mit dem Sie aufhören, Demos zu vertrauen, und beginnen, Belegen zu vertrauen. Bauen Sie Ihr Golden Dataset auf, setzen Sie den Schwellenwert, und lassen Sie jedes Werkzeug – auch unseres – seinen Platz gegen Zahlen verdienen, von denen Sie bereits wissen, dass sie stimmen.

Wenn Sie sehen möchten, wie ein Finance-Agent aussieht, bei dem sich jede Kennzahl auf eine abgestimmte Quelle zurückführen lässt und die Mathematik deterministisch statt geraten ist, buchen Sie eine Demo und bringen Sie Ihre eigenen Fragen mit.