Wie Rexfin Antwortqualität misst (statt sie nur zu behaupten)

Jeder Anbieter von KI-Finanzlösungen sagt eine Version von „Sie können unseren Antworten vertrauen”. Fast keiner kann Ihnen sagen, woher er das weiß, außer über eine Demo, die einmal gut lief. Genau darum geht es in diesem Beitrag: der Unterschied zwischen Zuverlässigkeit behaupten und Zuverlässigkeit messen, fortlaufend, auf eine Weise, an der ein schlechtes Update nicht einfach unbemerkt vorbeikommt.

Rexfins Kernversprechen für seine KI-Antworten ist einfach formuliert und schwer zu fälschen: Jede numerische Aussage ist entweder durch ein Zitat gedeckt, das sie tatsächlich stützt, oder die KI verweigert die Antwort. Auch intern nehmen wir dieses Versprechen nicht auf Treu und Glauben hin. Wir lassen es als bewerteten Test laufen, genauso wie man jede andere Software testet, die sich unter Druck korrekt verhalten muss.

Was tatsächlich bewertet wird

Das Testset ist eine Bibliothek echter Fragen, gestellt an echte, bewusst eingebrachte Abschlüsse – der Art, wie sie ein CFO oder Analyst tatsächlich stellen würde, aufgeteilt in Kategorien wie Bilanzkennzahlen, Kapitalfluss, Kennzahlen, Offenlegungsrecherchen und eine bewusste Kategorie von Fragen, die der Abschluss schlicht nicht beantwortet. Jede Frage trägt eine von Hand erfasste korrekte Antwort: den richtigen Wert, die exakte Seite, von der er stammt, und – bei Fragen, die der Abschluss nicht abdeckt – die Bestätigung, dass die Zahl wirklich fehlt und nicht bloß schwer zu finden ist.

Jede Antwort, die die KI erzeugt, wird auf mehr als einer Achse zugleich geprüft. Stimmt die Zahl? Ist sie zitiert, und zeigt dieses Zitat tatsächlich auf den Beleg, der sie stützt – eine korrekte Zahl ohne nachvollziehbares Zitat zählt als Fehlschlag, nicht als Erfolg, weil eine unbelegte Zahl genau der Fehler ist, den dieses gesamte System verhindern soll. Und bei Fragen ohne echte Antwort im Abschluss: Hat die KI korrekt verweigert, oder hat sie selbstbewusst eine Zahl erfunden? Dieser letzte Fall – eine erfundene Zahl bei einer Frage, die eigentlich hätte verweigert werden müssen – gilt als das mit Abstand schlechteste Ergebnis, das das Testsystem erkennen kann, weil genau das die Zahl ist, die am Ende falsch in einem Board-Pack landet.

Warum ein gemittelter Wert das Problem verschleiern würde

Eine einzelne Schlagzeile wie „92 % Genauigkeit” kann viel verbergen. Es ist durchaus möglich, dass Bilanz-Abfragen ein ganzes Testset zu einem ansehnlichen Durchschnitt tragen, während Kapitalfluss-Fragen – die mehrere Zahlen korrekt zusammenführen müssen – darunter still viel schlechter abschneiden. Deshalb werden Ergebnisse nach Kategorie aufgeschlüsselt statt nur als eine Zahl gemeldet, und die schwächste Kategorie wird ausdrücklich benannt, statt weggemittelt zu werden. Das zählt in der Praxis: Ein Due-Diligence-Team, das gezielt nach Kapitalfluss-Zahlen fragt, bekommt eine Antwort über Kapitalfluss-Zahlen, keine mit leichteren Fragen vermischte Kennzahl.

Das Testsystem prüft außerdem eine Ebene jenseits exakter Zahlen: ob der begleitende Kommentar der KI – die erzählenden Sätze rund um eine Zahl, nicht nur die Zahl selbst – tatsächlich aus den zitierten Belegen folgt, statt eine unbelegte Behauptung in selbstbewusster Sprache hinzuzufügen. Das ist genau der Fehlermodus, dem die „KI-Insights”-Funktionen von Wettbewerbern am stärksten ausgesetzt sind, weil eine erzählerische Behauptung nicht so laut scheitert wie eine falsche Zahl.

Es läuft bei jeder Änderung, nicht nur einmal

Der Sinn dieser Messung ist kein einmaliger Bericht für eine Präsentation. Sie ist in denselben Prozess eingebaut, der Änderungen am Produkt ausliefert: Eine Änderung an Retrieval, Prompts oder dem zugrunde liegenden Modell muss gegen dieses Testset laufen, bevor sie gemergt wird, und fällt die Zitiergenauigkeit oder die Korrektheit des Verweigerungsverhaltens unter eine vereinbarte Schwelle, wird diese Änderung nicht ausgeliefert. Eine Überarbeitung, die die KI stillschweigend weniger bereit macht zu verweigern – die ein sicheres „Das habe ich nicht” gegen eine selbstbewusste Vermutung eintauscht –, wird hier abgefangen, bevor sie in irgendjemandes Board-Pack landet, nicht erst danach.

Die ehrlichen Grenzen

Das bedeutet nicht, dass die KI nie einen Fehler macht – es bedeutet, dass Fehler gemessen werden, nach Kategorie nachverfolgt werden und jede Verschlechterung vor der Veröffentlichung auffällt, statt von einem Kunden entdeckt zu werden. Es setzt auch voraus, dass dieses Testset in echten Abschlüssen und tatsächlich fehlenden Zahlen verankert bleibt, was eine eigene Disziplin ist – siehe der kanonische Atom-Store dazu, wie die zugrunde liegenden Fakten überhaupt erst an Quelldokumenten verankert bleiben, und Kalibrierung und Vertrauensjustierung dazu, wie derselbe gemessene, evidenzbasierte Ansatz bestimmt, wann eine Prüfung einen Export blockieren darf.

Das Fazit

„Vertrauen Sie unserer KI” ist ein Satz. Eine Testsuite, die bei jeder Änderung Zitiergenauigkeit und Verweigerungsverhalten bewertet und ein Release blockiert, das eines von beidem verschlechtert, ist ein Beleg. Wenn Sie sehen möchten, was passiert, wenn Belege und Urteil einer Antwort für später aufbewahrt werden, lesen Sie das Antwort-Audit-Log, oder gehen Sie zum Hub Inside the Rexfin Platform, um zu sehen, wie alles zusammenpasst.