Welchen KI-Modellen können Sie 2026 Ihre Finanzdaten anvertrauen? Ranglisten kritisch gelesen

Ein Controller leitete uns im letzten Quartal das Verkaufsgespräch eines Anbieters weiter. Die Schlagzeile: „Unser Modell halluziniert nur in 1,8 % der Fälle.” Das implizite Versprechen: Wählen Sie das richtige Modell, und das Zahlenproblem löst sich in Luft auf. Tut es nicht. Diese 1,8 % stammten aus einem Benchmark zur Dokumentenzusammenfassung, gemessen an sauberem Fließtext, bewertet von einem automatisierten Prüfsystem. Das sagt so gut wie nichts darüber aus, ob dasselbe Modell Ihre Bruttomarge fürs dritte Quartal richtig ermittelt, wenn die Quelle eine konsolidierte Summen- und Saldenliste aus zwei Hauptbüchern ist, die nicht zueinander passen.

Halluzinationsraten sind 2026 real, öffentlich und nützlich. Sie werden aber regelmäßig falsch gelesen. Wenn Sie ein KI-Werkzeug auswählen, das Ihrem Aufsichtsrat Zahlen vorlegen soll, müssen Sie wissen, was die Ranglisten messen, was nicht – und warum genau in dieser Lücke die Fehler im Finanzbereich entstehen.

Was die Zahlen tatsächlich aussagen

Nehmen wir das Hallucination Evaluation Leaderboard von Vectara, den meistzitierten öffentlichen Benchmark. In seiner jüngsten Aktualisierung liegen die Spitzenmodelle beeindruckend dicht beieinander. Eine Handvoll bleibt unter 2 %. Mehrere etablierte Modelle von OpenAI, Google und Anthropic landen im ursprünglichen Test im niedrigen einstelligen Bereich. Die Spannweite über alle bewerteten Modelle, vom besten bis zum schlechtesten, reicht von unter 2 % bis deutlich über 20 %.

Und hier kommt der Teil, den die Pitch Decks auslassen. Vectara misst genau eine eng umrissene Sache: wie oft ein Modell unbelegte Aussagen einführt, während es ein kurzes, ihm vorgelegtes Dokument zusammenfasst. Das ist ein Treuetest an Text. Es ist kein Rechentest, kein Test zur Abstimmung über mehrere Dokumente hinweg und kein Test dafür, ob das Modell eine Finanztabelle lesen kann, ohne eine Spalte zu vertauschen.

Als Vectara den Benchmark Ende 2025 mit schwierigeren Eingaben neu aufbaute – darunter längere Dokumente von bis zu rund 32.000 Token und ein breiteres Spektrum an Domänen, das auch den Finanzbereich umfasste –, sprangen dieselben Reasoning-Modelle, die zuvor im niedrigen einstelligen Bereich abschnitten, auf über 10 %. Dieselben Modelle. Schwierigere, realistischere Aufgabe. Die Fehlerquote vervielfachte sich. Diese eine Tatsache allein sollte zurücksetzen, wie Sie jede Rangliste lesen: Der Wert ist eine Eigenschaft des Tests, nicht allein des Modells.

Warum sich ein Ranglistenwert nicht auf Ihre Bücher überträgt

Drei Dinge trennen ein Benchmark-Dokument von Ihren tatsächlichen Finanzzahlen, und jedes davon verschlechtert die Modellleistung auf eine Weise, die die Schlagzeilenzahl nie erfasst.

Erstens: Ihre Daten sind unsauber und stammen aus mehreren Quellen. Ein Zusammenfassungs-Benchmark gibt dem Modell ein einziges sauberes Dokument. Ihre reale Frage – „Wie hoch war das bereinigte EBITDA im letzten Quartal?” – berührt ein Hauptbuch, einige manuelle Korrekturen, die in einer Tabelle stecken, und vielleicht ein Nebenbuch, das mit zeitlichem Verzug bucht. Das Modell muss die richtigen Zahlen über all diese Quellen hinweg finden, bevor es überhaupt irgendetwas tut. Abrufefehler an dieser Stelle sehen im Ergebnis genauso aus wie Denkfehler, und kein Wert zur Dokumententreue sagt sie voraus.

Zweitens: Ihre Daten enthalten Tabellen und PDFs. Die Modellgenauigkeit bei Finanzzahlen sinkt deutlich, wenn die Quelle ein eingescannter Abschluss oder ein Bild statt sauberer Text ist. Ein Modell, das einen Artikel treu zusammenfasst, kann eine Zelle in einer Bilanz dennoch falsch lesen, weil die Spaltenüberschrift zwei Zeilen weiter oben stand und das Modell die Ausrichtung erraten hat.

Drittens, und das ist das Wichtigste: Finanzen sind Arithmetik, und Arithmetik ist nicht das, was diese Benchmarks bewerten. Ein Modell kann Umsatz und Wareneinsatz tadellos abrufen und dann die Bruttomarge als Differenz statt als Quote berechnen, sie umdrehen oder die Zahl aus dem Vorjahr anwenden. Nichts davon wird auf einer Treue-Rangliste als „Halluzination” registriert. Die Aussage ist in der Quelle verankert. Nur die Rechnung ist schlicht falsch. Über diese verborgene Fehlerklasse haben wir bereits in Die KI hatte die Zahlen richtig und die Rechnung falsch geschrieben – und es ist genau die Kategorie, für die Ranglisten blind sind.

Das Argument für Modellunabhängigkeit

Welchem Modell sollten Sie also Ihre Finanzdaten anvertrauen? Die ehrliche Antwort für eine Finanzleitung lautet: Die Frage ist falsch gestellt.

Wenn Ihre Genauigkeit davon abhängt, welches Modell Sie in diesem Quartal gewählt haben, haben Sie ein fragiles System gebaut. Modelle ändern sich ständig. Wer im Februar an der Spitze der Rangliste steht, ist im August nur selten noch dort. Anbieter veröffentlichen neue Versionen, stellen alte ab und justieren das Verhalten still und leise nach. Die Integrität Ihres Berichtswesens an ein bestimmtes Modell zu binden bedeutet, Ihren gesamten Finanzprozess jedes Mal neu zu validieren, wenn eine Versionsnummer hochzählt – und die meisten Teams tun das nicht. Das heißt: Sie arbeiten mit einem Modell, das sie nie getestet haben.

Es gibt eine stärkere Position. Machen Sie das Modell zu dem Teil, der sich ändern darf, und legen Sie die Dinge, die sich nicht ändern dürfen, darunter – außerhalb der Reichweite jedes Modells.

Das bedeutet eine Schicht, die die Abstimmung vornimmt, bevor irgendeine KI die Daten zu Gesicht bekommt, sodass jede Zahl auf das Hauptbuch zurückführt. Es bedeutet, jede Berechnung – Marge, Wachstumsrate, Abweichung, Quote – über eine deterministische Engine zu leiten, statt das LLM die Arithmetik erledigen zu lassen. Das Modell entscheidet, was berechnet wird; die Engine berechnet es jedes Mal auf dieselbe Weise. Und es bedeutet, dass jede Antwort eine Spur zurück zu ihrer Quelle trägt, sodass ein Controller eine Zahl so belegen kann, wie er eine Formel belegen würde – und nicht auf Treu und Glauben hinnehmen muss.

Wenn diese Schicht existiert, hört die Halluzinationsrate des Modells auf, eine tragende Zahl zu sein. Ein schwächeres Modell liefert holprigere Formulierungen; es liefert keine falsche Bruttomarge, weil es die Rechnung nie gemacht hat. Sie können an einem Dienstag GPT gegen Gemini gegen Claude tauschen, und Ihre ausgewiesenen Zahlen rühren sich nicht. Genau das verschafft Ihnen Modellunabhängigkeit tatsächlich: Widerstandsfähigkeit gegenüber der einen Variablen, die Sie nicht kontrollieren können.

Wie Sie das nächste Pitch Deck lesen

Wenn ein Anbieter mit einer Halluzinationsrate aufmacht, stellen Sie drei Fragen. An welcher Aufgabe wurde sie gemessen – Zusammenfassung oder Arithmetik? Auf welchen Daten – sauberer Text oder unsaubere Tabellen aus mehreren Quellen? Und was passiert mit Ihren Zahlen, wenn sich das zugrunde liegende Modell im nächsten Quartal ändert? Wenn die ehrliche Antwort auf die letzte Frage lautet „Dann müssten wir alles neu testen”, dann steckt die Genauigkeit im Modell – und das Modell ist Sand.

Die Ranglisten lohnen die Lektüre. Sie sind ein echtes Signal dafür, dass Modelle besser werden und dass manche deutlich besser als andere darin sind, geerdet zu bleiben. Verwechseln Sie nur einen Treuewert auf fremden Dokumenten nicht mit einer Garantie für Ihre Bücher. Die vertrauenswürdige Zahl ist nicht die vom besten Modell. Es ist die, die abgestimmt wurde, bevor das Modell sie zu sehen bekam, und von etwas Deterministischem berechnet wurde, nachdem es sie gesehen hat.

Wenn Sie sehen möchten, wie modellunabhängige Genauigkeit auf Ihren eigenen Finanzzahlen aussieht – und nicht auf denen eines Benchmarks –, buchen Sie eine Demo und bringen Sie eine Zahl mit, die Sie noch nie einer KI anvertraut haben. Für das umfassendere Argument, dass selbst starke Benchmark-Werte für unbeaufsichtigte Finanzen eine glatte Sechs sind, ist die Prüf-Checkliste für Zahlen im Aufsichtsrats-Deck eine sinnvolle nächste Lektüre – ebenso wie der Themenschwerpunkt zu KI-Halluzinationen in Finanzdaten.