So unterziehen Sie ein KI-Finanztool einem Stresstest, bevor Sie ihm vertrauen

Ein Anbieter sitzt Ihnen gegenüber und behauptet, seine KI sei „zu 98 % genau bei Finanzdaten”. Stellen Sie ihm eine einzige Frage: 98 % wovon, gemessen an wessen Antworten? In den meisten Demos lautet die ehrliche Antwort, dass die Zahl aus einem öffentlichen Benchmark stammt, durchgeführt auf den Abschlüssen anderer, bewertet nach einem Verfahren, das Sie nicht einsehen können. Sie sagt Ihnen so gut wie nichts darüber, wie sich das Tool bei Ihren Abschlussbuchungen, Ihren Konsolidierungseliminierungen, Ihrem unübersichtlichen Kontenplan verhalten wird.

Die veröffentlichte Forschung ist ebenfalls wenig beruhigend. Bei FinanceBench, einem Benchmark mit über 10.000 Frage-Antwort-Paaren aus US-amerikanischen Geschäftsberichten, beantwortete ein früher Test mit GPT-4-Turbo in Kombination mit einem Retrieval-System rund 81 % einer Stichprobe von 150 Fragen falsch oder verweigerte die Antwort. Das ist ein Spitzenmodell, mit Retrieval, auf sauberen SEC-Dokumenten. Ihre Daten sind anspruchsvoller.

Hören Sie also auf, plakativen Genauigkeitsangaben zu vertrauen. Bauen Sie Ihren eigenen Test. Ein Golden Dataset ist der nützlichste Nachmittag, den ein Finanzteam investieren kann, bevor es irgendetwas unterschreibt, und es ist der einzige Nachweis, der später einer Frage des Prüfungsausschusses standhält.

Was ein Golden Dataset wirklich ist

Ein Golden Dataset ist eine feste Sammlung von Fragen zu Ihren Finanzzahlen, bei denen Sie die richtige Antwort bereits kennen – bestätigt durch einen Menschen, der sie verteidigen kann. Nicht die Antwort eines Modells. Die Antwort eines Controllers, verankert im Hauptbuch.

Jeder Eintrag besteht aus vier Teilen: der Frage so, wie ein Nutzer sie tatsächlich formulieren würde, der richtigen Antwort mit Einheit und Vorzeichen, der Quelle, auf die sie zurückführt (welches Konto, welche Periode, welcher Abschluss), und der Berechnung, die sie erzeugt. „Wie hoch war der Free Cashflow im dritten Quartal?” ist eine Frage. „4,18 Mio. €, operativer Cashflow von 6,02 Mio. € abzüglich Investitionen von 1,84 Mio. €, gemäß Kapitalflussrechnung” ist eine Golden Answer. Die Rechenlogik und die Herkunft sind Teil des Eintrags, kein nachträglicher Zusatz.

Sie brauchen davon keine Tausende. Sie brauchen die Einträge, die zählen, und die Einträge, die etwas zum Brechen bringen.

Was hineingehört

Schöpfen Sie bewusst aus vier Kategorien.

Retrieval-Fälle. Schlichte Abfragen. „Wie hoch war der Gesamtumsatz im vergangenen Geschäftsjahr?” Diese prüfen, ob das Tool die richtige Zahl in der richtigen Periode findet. Sie wirken trivial. Genau hier verstecken sich Fehler durch veraltete Daten, denn ein Modell zitiert bereitwillig und mit voller Überzeugung die Zahl aus dem Vorjahr.

Berechnungsfälle. Alles, was Rechnen erfordert: Bruttomarge, Wachstum im Jahresvergleich, Forderungslaufzeit (Days Sales Outstanding), eine dreizeilige EBITDA-Überleitung. Hier scheitern die meisten KI-Finanztools klammheimlich. Ein Modell kann zwei korrekte Zahlen abrufen und trotzdem das Verhältnis invertieren, eine absolute Veränderung mit einer prozentualen verwechseln oder das Vorzeichen eines Mittelabflusses umkehren. Die Antwort liest sich plausibel. Sie ist falsch. Das ist das Fehlermuster, das wir in Die KI hatte die Zahlen richtig und die Rechnung falsch behandeln, und es ist der wichtigste Grund, Berechnung getrennt vom Retrieval zu testen.

Adversariale Fälle. Fragen, die gezielt eine selbstbewusste Falschantwort provozieren sollen. Fragen Sie nach einer Kennzahl, die Sie nicht ausweisen. Fragen Sie nach einer Periode, die es noch gar nicht gibt. Stellen Sie eine Frage mit einer eingebauten falschen Prämisse („Warum ist die Marge im zweiten Quartal gefallen?”, obwohl sie gestiegen ist). Ein vertrauenswürdiges Tool sagt, dass es nicht antworten kann, oder korrigiert die Prämisse. Ein schwaches erfindet etwas. Sie wollen wissen, welches von beiden Sie gekauft haben.

Mehrquellen-Fälle. Fragen, die das Tool zwingen, über Systeme hinweg abzustimmen: eine Zahl, die sowohl im Hauptbuch als auch in einer Abrechnungsplattform auftaucht, eine konsolidierte Größe über zwei Gesellschaften hinweg. Wenn das Tool aus einer Quelle schöpft und den Konflikt ignoriert, sehen Sie es hier.

Streben Sie einige Dutzend bis ein paar Hundert Einträge an. Verteilen Sie sie so, dass Berechnungs- und adversariale Fälle gut vertreten sind, denn das sind diejenigen, die die Bestehensquote bewegen.

Setzen Sie eine Schwelle – und machen Sie sie schmerzhaft

Legen Sie eine Zahl fest, bevor Sie den Test durchführen, schriftlich. Wir verwenden 95 % als Ausgangsmaßstab für jede Zahl, die in einen Bericht oder eine Vorstandsvorlage gelangt; niedrigere Schwellen bringen Ihnen sehr wenig. Bei 90 % ist jede zehnte Antwort falsch, und Sie können nicht vorhersagen, welche – was bedeutet, dass ein Mensch alle erneut prüfen muss. Der gesamte Sinn des Tools löst sich auf.

Definieren Sie dann präzise, was „korrekt” bedeutet. Exakte Übereinstimmung bei der Zahl. Richtiges Vorzeichen. Richtige Einheit. Richtige Periode. Ein Tool, das die richtige Größenordnung mit falschem Vorzeichen liefert, ist bei diesem Posten nicht zu 90 % korrekt; es ist falsch. Bewerten Sie es entsprechend. Seien Sie bei Berechnungs- und Mehrquellen-Fällen strenger als bei einfachen Abfragen, denn das sind diejenigen, die ein Controller nicht auf einen Blick überschlagen kann.

Noch eine Regel, die sich aus der Verifizierungs-Checkliste für Vorstandsvorlagen übernehmen lässt: Eine Antwort ohne nachvollziehbare Quelle gilt als Treffer daneben, selbst wenn die Zahl zufällig stimmt. Eine korrekte Zahl, die Sie nicht belegen können, ist bei einer Prüfung kein Aktivposten. Sie ist ein Risiko, das nur auf eine Frage wartet.

Prüfen Sie planmäßig erneut auf Drift

Hier kommt der Teil, den die meisten Teams überspringen. Sie bestehen den Test im Februar und gehen davon aus, dass das Tool im Juli noch sicher ist. Das muss nicht der Fall sein. Das Modell dahinter wird aktualisiert. Ihre Daten verändern ihre Gestalt. Prompts werden angepasst. Eine Genauigkeit, die bei 96 % lag, kann klammheimlich auf 88 % abrutschen, ohne jede Ankündigung, weil sichtbar nichts kaputtgegangen ist.

Führen Sie das Golden Dataset monatlich aus, oder nach jeder Modell- oder Integrationsänderung – je nachdem, was zuerst eintritt. Verfolgen Sie die Bestehensquote über die Zeit. Ein Rückgang um zwei Punkte ist ein Signal, dem nachzugehen sich lohnt; ein Rückgang um fünf Punkte ist ein Grund, sich nicht länger auf das Tool zu verlassen, bis Sie ihn verstanden haben. Das ist der Unterschied zwischen einmaligem Vertrauen in ein Tool und kontinuierlicher Governance.

Was der Test wirklich misst

Im Kern stellt ein Golden Dataset jedem KI-Finanztool zwei Fragen. Hat es die richtige Zahl gefunden? Hat es richtig gerechnet? Die meisten Tools, die bei der ersten Frage gut abschneiden, scheitern an der zweiten, weil die Berechnung von einem Sprachmodell vorgenommen wird, das vorhersagt, wie eine Zahl aussehen sollte, statt sie zu berechnen.

Das ist der architektonische Kernpunkt, der all dem zugrunde liegt. Wenn die Rechnung innerhalb des LLM läuft, wird Ihre Bestehensquote immer eine Wahrscheinlichkeit sein, und sie wird driften. Die einzige dauerhafte Lösung besteht darin, die Berechnung dem Modell vollständig zu entziehen.

So ist Rexfin gebaut. Wir binden Ihre Buchhaltungsplattformen oder hochgeladenen Abschlüsse an, stimmen sie zu einem einzigen Modell ab, das mit dem Hauptbuch übereinstimmt, und lassen die KI dann Zahlen abrufen und jede Berechnung über eine deterministische Engine laufen, nicht über das Sprachmodell. Gleiche Eingaben, gleiche Antwort, jedes Mal, mit einer Rückverfolgung zur Quelle. Lassen Sie Ihr Golden Dataset gegen ein so konzipiertes System laufen, und die Berechnungsfälle sind nicht länger diejenigen, die scheitern.

Bauen Sie das Dataset, bevor Sie irgendetwas kaufen. Buchen Sie dann eine Demo und richten Sie Ihre schwierigsten Fragen direkt auf uns. Wenn die Zahlen nicht mit Ihrem Hauptbuch übereinstimmen, sollten Sie gehen. Uns ist lieber, Sie testen uns, als dass Sie uns vertrauen.