KI mit den richtigen Zahlen und der falschen Rechnung: Die verborgene Klasse finanzieller Halluzinationen

Eine Finanzverantwortliche bat einen KI-Assistenten um die Veränderung der operativen Marge zwischen zwei Quartalen. Das Modell gab beide Werte korrekt wieder: 18,2 % im Vorquartal, 14,9 % im aktuellen Quartal. Beide Zahlen stimmten mit dem Abschluss überein. Anschließend meldete es die Veränderung als „Rückgang um 3,3 %”. Das war sie nicht. Die Marge sank um 3,3 Prozentpunkte, was einem relativen Rückgang von 18 % entspricht. Zwei unterschiedliche Sachverhalte, einer davon falsch, und ausgerechnet der falsche landet in der Vorstandspräsentation.

Dies ist die Fehlerklasse, auf die so gut wie niemand prüft. Wenn Teams sich Sorgen machen, dass KI Dinge erfindet, denken sie an erfundene Umsätze oder eine fabrizierte Quellenangabe. Das kommt vor, und es lässt sich leicht erkennen, weil die Zahl in der Quelle schlicht nicht existiert. Das stillere Versagen ist anderer Natur: Jeder Eingabewert ist korrekt, die Antwort ist falsch, und nichts am Ergebnis wirkt verdächtig. Die Datenbeschaffung lief einwandfrei. Die Schlussfolgerung war fehlerhaft.

Richtige Eingaben, falsche Arithmetik

Aktuelle Benchmarks zu Finanz-Frage-Antwort-Systemen kommen immer wieder zu derselben Aufteilung. In einer Analyse von Modellfehlern entfielen Berechnungsfehler sowie Rundungs- oder Genauigkeitsprobleme auf jeweils rund ein Drittel aller falschen Antworten, zusammen also mehr als zwei Drittel der Gesamtmenge (arXiv, Evaluation im FinanceQA-Stil). Eine separate Studie zu multimodalen Modellen bei Finanzaufgaben führte etwa 42 % der Fehler ausdrücklich auf Berechnungs- und Schlussfolgerungsfehler statt auf die Datenbeschaffung zurück (arXiv, FAITH-Benchmark). Das Muster ist konsistent: Das Modell findet die richtigen Zellen und vergreift sich dann an dem, was es damit anstellt.

Einige Fehlerformen tauchen in der Finanzarbeit immer wieder auf:

• Absolute versus prozentuale Veränderung. Die Verwechslung einer Bewegung in Prozentpunkten mit einer relativen prozentualen Veränderung, exakt wie im Margenbeispiel oben.
• Umkehrung von Kennzahlen. Die Angabe des Verschuldungsgrads (Fremd- zu Eigenkapital), obwohl nach dem Verhältnis von Eigen- zu Fremdkapital gefragt war, oder das Vertauschen von Zähler und Nenner bei einem Deckungsgrad. Beide Zahlen sind real; das Verhältnis steht auf dem Kopf.
• Falsches Vorzeichen bei Zahlungsströmen. Eine Mittelverwendung wird als Mittelherkunft behandelt, oder ein Finanzierungszufluss wird gegen einen operativen Abfluss saldiert, sodass sich die Richtung des Free Cash Flow umkehrt.
• Abweichungen bei Einheit und Größenordnung. Das Vermischen von Tausendern mit Millionen oder die Übernahme einer in Basispunkten angegebenen Größe in eine Berechnung, die einen Dezimalwert erwartet.

Keiner dieser Fehler löst eine Prüfung der Datenbeschaffung aus. Die Quellzahlen sind vorhanden und korrekt. Genau das macht diese Klasse so gefährlich. Ihr Instinkt, und der Instinkt Ihrer Prüfer, ist es, stichprobenartig zu kontrollieren, ob die KI die Zahlen richtig erfasst hat. Das hat sie. Der Defekt liegt eine Ebene tiefer.

Warum ein Sprachmodell so etwas tut

Es hilft, den Mechanismus zu verstehen, anstatt ihn als zufällige Unzuverlässigkeit abzutun. Ein Sprachmodell rechnet nicht. Es sagt das nächste Token anhand statistischer Muster im Text voraus. Zahlen werden für die Sprache tokenisiert, nicht für die Mathematik, und ein einzelner Wert wird häufig über mehrere Token aufgeteilt, sodass das Modell nie auf der mathematischen Struktur des Ausdrucks operiert (arXiv, Tokenisierung und Arithmetik). Es hat außerdem gelernt, dass auf „die Veränderung von 18,2 auf 14,9” häufig Formulierungen wie „ein Rückgang um 3,3 %” folgen, weil diese Formulierung im Text verbreitet ist, auch wenn sie unpräzise ist. Das Modell gibt wieder, wie Menschen über die Berechnung sprechen, statt die Berechnung durchzuführen.

Es gibt keinen Notizzettel, an den es sich halten müsste, keinen Zwischenzustand, den es zwischen den Schritten bewahren müsste, und keine interne Kontrolle, ob eine Kennzahl mit der richtigen Orientierung herausgekommen ist. Forscher haben gemessen, wie fragil das ist: Geringfügige Änderungen in der Formulierung eines Problems können die Genauigkeit um zweistellige Prozentpunktbeträge in die eine oder andere Richtung verschieben – eine Robustheitslücke, die über Benchmarks zum arithmetischen Schließen hinweg immer wieder dokumentiert wurde. Ein derart fragiler Prozess ist für das Verfassen eines Satzes in Ordnung. Für die Berechnung einer Covenant-Kennzahl ist er es nicht.

Der Fairness halber sei die Grenze der Sorge benannt: Die führenden Modelle sind erheblich besser geworden, und bei einigen kuratierten Benchmarks zu finanziellen Halluzinationen überschreiten die stärksten Modelle inzwischen eine Genauigkeit von über 90 %. Doch „in 90 % der Fälle stimmt die Rechnung” beschreibt ein Problem und ist keine Beruhigung, wenn das Ergebnis in Entscheidungen einfließt und die Fehler bei einem kurzen Blick unsichtbar bleiben. Eine Fehlerquote von 9 %, die Sie nicht sehen können, ist schlimmer als eine von 20 %, die Sie sehen.

Die Lösung ist strukturell, kein besserer Prompt

Aus diesem Problem lässt sich nicht zuverlässig herausprompten. Das Modell aufzufordern, „seinen Rechenweg zu zeigen” oder „die Mathematik zu überprüfen”, senkt die Quote, beseitigt sie aber nicht, denn der Prüfer ist derselbe fehlerhafte Mechanismus, der den Fehler erzeugt hat. Die einzige Möglichkeit, eine ganze Klasse arithmetischer Fehler zu beseitigen, besteht darin, das Sprachmodell die Arithmetik gar nicht erst durchführen zu lassen.

Genau das ist das Konstruktionsprinzip hinter Rexfin. Wir trennen die beiden Aufgaben, die heutige Werkzeuge in einer zusammenfassen. Das Sprachmodell ist gut darin, die Absicht zu verstehen, die relevanten Werte zu finden und Ergebnisse in verständlicher Sprache zu erklären. Also lassen wir es genau das tun, und nichts darüber hinaus. Die eigentliche Berechnung, jede Kennzahl, jede Veränderung von Periode zu Periode, jedes Vorzeichen eines Zahlungsstroms, läuft über eine deterministische Berechnungs-Engine, die definierte Formeln jedes Mal auf dieselbe Weise ausführt. Prozentpunkte und prozentuale Veränderung sind für die Engine unterschiedliche Operationen, nicht zwei Formulierungen, die sie verwischen könnte. Eine Kennzahl wird einmal definiert, mit festem Zähler und Nenner, sodass sie sich nicht umkehren kann.

Es funktioniert, weil die Werte gar nicht erst aus freiem Text stammen. Rexfin verbindet sich mit Ihren Buchhaltungs- und Finanzdatenquellen oder mit hochgeladenen Abschlüssen und baut ein abgestimmtes Finanzmodell auf, das mit dem Hauptbuch übereinstimmt. Die KI ruft aus dieser einen verlässlichen Quelle ab, die Engine rechnet, und jedes Ergebnis lässt sich auf den Wert und die Formel zurückverfolgen, die es erzeugt haben. Wenn eine Zahl vor Ihnen liegt, sehen Sie sowohl, woher sie stammt, als auch, wie sie hergeleitet wurde.

Was Sie daraus machen sollten

Hören Sie auf, KI-Finanzergebnisse zu validieren, indem Sie nur prüfen, ob die Quellzahlen stimmen. In der Regel tun sie das. Diese Prüfung wird bestanden, während eine umgekehrte Kennzahl oder ein Prozentpunkt-versus-Prozent-Fehler unbemerkt darunter durchrutscht. Wenn Sie eine praktische Kontrolle wünschen: Unsere Prüfliste zur Verifizierung von Zahlen in Vorstandspräsentationen zeigt, worauf Sie achten sollten, und wenn Sie ein Werkzeug evaluieren, fördert der Aufbau eines Golden Dataset aus Berechnungen mit bekannter Lösung genau diese Fehlerart zutage, bevor sie einen Mandanten erreicht.

Der übergeordnete Punkt: Ein Werkzeug, das die Mathematik dem Modell überlässt, verlangt von Ihnen, einem Prozess zu vertrauen, der nie für Arithmetik gebaut wurde. Die bessere Frage an jeden KI-Finanzanbieter ist einfach. Wo findet die Berechnung tatsächlich statt? Lautet die Antwort „innerhalb des Sprachmodells”, kennen Sie das Risiko, das Sie tragen, bereits. Wenn Sie sehen möchten, wie es aussieht, wenn die Antwort „eine deterministische Engine, die mit Ihrem Hauptbuch übereinstimmt” lautet, buchen Sie eine Demo.