Benchmarks ehrlich lesen: Warum 82 % LLM-Genauigkeit im Finanzbereich eine Fünf ist

Eine Anbieterfolie behauptet, das Modell erreiche 90 % Genauigkeit bei der Beantwortung von Finanzfragen. Der Raum nickt. Das klingt nach einer Eins minus. In der Schule war 90 % eine Auszeichnung.

Betrachten Sie dieselbe Zahl durch die Finanzbrille, und sie wirkt schlagartig nicht mehr wie eine Eins. Neunzig Prozent Genauigkeit bedeutet: Jede zehnte Zahl ist falsch. Setzen Sie das in eine Vorstandspräsentation mit vierzig Zahlen, sind im Schnitt vier davon daneben. Sie wissen nicht, welche vier. Das Modell weiß es auch nicht – und wird alle vierzig mit derselben sprachgewandten Überzeugung verteidigen. Das ist keine Auszeichnung. In einer Funktion, deren gesamte Aufgabe darin besteht, bei Zahlen recht zu haben, ist das eine glatte Fünf.

Die Benchmarks verdienen einen genaueren Blick als die Schlagzeile, denn je genauer man hinsieht, desto stärker wird das Argument, dem Sprachmodell die Mathematik vollständig zu entziehen.

Was die Benchmarks tatsächlich messen

Beginnen wir mit FinanceBench, der offenen Testsuite für Finanz-Q&A, aufgebaut auf veröffentlichten Unternehmensberichten. Der Aufbau ist großzügig zum Modell: Die Fragen werden mit genau den Dokumenten gepaart, die die Antworten enthalten, entnommen aus den Berichten von 40 großen, in den USA börsennotierten Unternehmen. Das ist die leichte Version der eigentlichen Aufgabe. Niemand versteckt den Geschäftsbericht.

Die Ergebnisse waren nicht ebenso großzügig. In der ursprünglichen Arbeit antwortete GPT-4-Turbo in Kombination mit einem Retrieval-System in den schwierigeren Konfigurationen bei rund 81 % der Fragen falsch oder verweigerte die Antwort. Über alle Aufbauten hinweg lag GPT-4 zwischen etwa 19 % und 89 % richtigen Antworten – und genau diese große Spanne ist der Punkt, bei dem man verweilen sollte. Dasselbe Modell, dieselbe Aufgabenfamilie, und die Genauigkeit schwankt je nach Anordnung des Kontexts um zweistellige Prozentpunkte. Eine Untersuchung stellte fest, dass allein das Verschieben des Kontexts vor die Frage statt dahinter GPT-4-Turbo von etwa 25 % auf etwa 78 % hob. Das Modell argumentierte nicht auf eine stabile Antwort hin. Es reagierte auf die Form des Prompts.

Nun die Tabellenseite, die näher daran liegt, wie Finanzteams tatsächlich arbeiten. FinSheet-Bench bewertet Modelle bei Aufgaben in Finanztabellen, die auf realistischen Private-Equity-Fondsstrukturen beruhen – am einfachen Ende Nachschlageoperationen, am schwierigen Ende mehrstufiges numerisches Reasoning. Die beste getestete Konfiguration, Gemini 3.1 Pro, erreichte über die Evaluierungsdateien hinweg rund 82,4 % Genauigkeit. Dahinter gruppierten sich GPT-5.2 und Claude Opus 4.6 mit aktiviertem Reasoning um die 80 %.

Lesen Sie das als Spitzenwert, und es sind immer noch grob eine Fehlantwort von sechs. Die Schlussfolgerung des Papiers selbst ist unmissverständlich: Über die getesteten Konfigurationen von OpenAI, Google und Anthropic hinweg erreichte kein eigenständiges Modell Fehlerquoten, die niedrig genug für den unbeaufsichtigten Einsatz in der professionellen Finanzfunktion wären. Das ist kein Verkaufsargument von Rexfin. Das ist der Befund.

Warum „nehmen Sie ein besseres Modell” die Lücke nicht schließt

Der Reflex ist jedes Mal derselbe: auf das nächste Release warten. Die Werte sind Jahr für Jahr gestiegen, also überschreitet die Linie doch sicher irgendwann die sichere Grenze.

Zwei Dinge machen diesen Optimismus teuer.

Erstens sind die Fehler kein zufälliges Rauschen, das sich herausmittelt. Ein Modell, das eine Kennzahl invertiert, eine Zahl in Tausend als eine Zahl in Millionen liest oder das Vorzeichen eines Mittelabflusses umdreht, macht keinen kleinen Fehler – es macht einen selbstbewussten, strukturellen Fehler, und zwar genau an der Stelle, an der ein menschlicher Prüfer am wenigsten geneigt ist nachzurechnen, weil der umgebende Text sauber liest. Ein Wert von 90 % mit gutmütigen Fehlern ist das eine. Ein Wert von 90 %, bei dem die 10 % Größenordnungsfehler enthalten, ist etwas, das ein Controller nicht unterschreiben kann.

Zweitens wird Benchmark-Genauigkeit auf aufgeräumten, kuratierten Daten gemessen. Ihre Daten sind nicht aufgeräumt. Sie liegen verstreut über QuickBooks, eine aus einer Übernahme stammende NetSuite-Instanz, drei Data-Warehouses und einen Ordner mit schief eingescannten PDFs. Genauigkeit auf sauberen Berichten ist die Obergrenze, nicht die Untergrenze. Der Wert, den Sie auf Ihren eigenen unaufgeräumten, aus mehreren Quellen stammenden Finanzdaten tatsächlich erreichen würden, liegt niedriger als jedes Leaderboard – und kein Benchmark veröffentlicht ihn, weil kein Benchmark Ihre Bücher kennt.

Die ehrliche Einordnung lautet also nicht „die Modelle taugen nichts”. Frontier-Modelle sind im Lesen, Zusammenfassen und Erklären wirklich stark. Die ehrliche Einordnung ist enger und nützlicher: Sie sind keine zuverlässigen Rechenmaschinen, und sie waren nie dafür gebaut. Ein LLM zu bitten, eine Veränderung im Jahresvergleich zu berechnen, heißt, ein auf das Vorhersagen plausiblen Texts trainiertes System zu bitten, stattdessen eine exakte, belastbare Zahl zu liefern. Manchmal ist das plausible Token auch das korrekte. In den schwierigen Fällen ist es das in achtzehn Prozent der Fälle nicht.

Die Zahl, die die Architektur ändern sollte, nicht den Anbieter

Hier ist der Schritt, auf den die Benchmarks hinweisen. Wenn die Schwäche des Sprachmodells in der exakten Berechnung realer Zahlen liegt, hören Sie auf, es rechnen zu lassen.

Lassen Sie das Modell das tun, worin es gut ist – die Frage verstehen, die richtigen Werte finden, die Erklärung schreiben – und leiten Sie jede tatsächliche Berechnung durch eine deterministische Engine, die gegen ein abgestimmtes Modell Ihrer Bücher läuft. Das LLM ruft ab und argumentiert. Die Mathematik läuft als Code, genauso wie sie in einer Formel läuft. Gleiche Eingaben, gleiches Ergebnis, jedes Mal, mit einem Pfad zurück zur Quellzeile im Hauptbuch.

Diese eine Trennung verändert, was die Benchmark-Zahlen für Sie bedeuten. Die 18 % Fehlerquote bei Tabellen und die breite FinanceBench-Spanne messen beide das Modell beim Rechnen. Nehmen Sie ihm das Rechnen ab, und diese Fehlerarten – die invertierte Kennzahl, die falsche Größenordnung, das umgedrehte Vorzeichen – sind nicht mehr probabilistisch. Sie werden zu einer Funktion, die Sie einmal testen und der Sie dann vertrauen können. Das Modell kann eine Frage immer noch falsch verstehen, und ein Mensch prüft weiterhin die Einordnung. Aber es kann Ihnen nicht mehr stillschweigend eine um den Faktor zehn danebenliegende Zahl samt sauberem Satz dazu unterschieben.

Das ist das Fundament unter allem anderen. Es ist der Grund, warum eine Tabellenkalkulation der falsche Ort ist, um eine KI Zahlen schreiben zu lassen – Sie erben jeden stillen Fehler, statt die Fehlerklasse zu beseitigen. Und es ist der Grund, warum eine KI-Zahl so wiederholbar sein sollte wie eine Formel: identische Eingaben, die einen identischen Wert erzeugen, mit nachvollziehbarem Pfad – genau das liefert eine deterministische Schicht und ein eigenständiges Modell nicht. Der umfassendere Zusammenhang findet sich in der Säule zur zuverlässigen Finanzmodellierungs-Schicht für KI.

Die zugespitzte Fassung

Wenn das nächste Mal eine Benchmark-Zahl in einer Besprechung fällt, sprechen Sie die Übersetzung laut aus. Neunzig Prozent sind eine falsche Zahl von zehn. Zweiundachtzig Prozent sind eine falsche Antwort von sechs. Fragen Sie dann, welche sechs Zahlen in der Präsentation das Team bereit ist, nicht zu prüfen – denn genau das bedeutet es, der rohen Modellausgabe zu vertrauen.

Die Benchmarks sind kein Argument dafür, auf ein besseres Modell zu warten. Sie sind ein Argument für eine andere Architektur: Reasoning im Modell, Mathematik in einer Schicht, die nicht halluzinieren kann. Das ist die einzige Konstellation, in der der Wert auf der Folie und die Zahl in Ihrem Bericht ein und dasselbe sein dürfen.

Wenn Sie sehen möchten, wie die Rechenarbeit dem Modell abgenommen und gegen eine abgestimmte Quelle der Wahrheit ausgeführt wird, buchen Sie eine Demo und bringen Sie Ihre chaotischste Abstimmung mit. Das ist der Test, der zählt.