Come Rexfin misura la qualità delle risposte (invece di limitarsi ad affermarla)

Ogni fornitore di IA finanziaria dice una qualche versione di “puoi fidarti delle nostre risposte”. Quasi nessuno sa dire come lo sa, oltre a una demo andata bene una volta. E qui che si colloca questo articolo: la differenza tra affermare l’affidabilità e misurarla, in continuo, in un modo che un aggiornamento difettoso non possa aggirare silenziosamente.

La promessa centrale di Rexfin per le sue risposte IA e semplice da enunciare e difficile da falsificare: ogni affermazione numerica e supportata da una citazione che la conferma davvero, oppure l’IA si rifiuta di rispondere. Non diamo per scontata questa promessa nemmeno internamente. La sottoponiamo a un test valutato, allo stesso modo in cui testeresti qualsiasi altro software che deve comportarsi correttamente sotto pressione.

Cosa viene effettivamente valutato

Il set di test e una raccolta di domande reali poste su bilanci reali, seminati appositamente, del tipo che un CFO o un analista porrebbe davvero, suddivise in categorie come voci di stato patrimoniale, flussi di cassa, indici, ricerche di informativa, e una categoria deliberata di domande a cui il bilancio genuinamente non risponde. Ogni domanda porta con se una risposta corretta catturata a mano: il valore giusto, la pagina esatta da cui proviene e, per le domande a cui il bilancio non da risposta, la conferma che la cifra sia davvero assente, non solo difficile da trovare.

Ogni risposta prodotta dall’IA viene verificata su più assi contemporaneamente. Il numero è corretto? È citato, e quella citazione punta davvero alla prova che lo sostiene? Un numero corretto senza citazione tracciabile conta come un fallimento, non come un successo, perché un numero non supportato è esattamente il tipo di errore che questo intero sistema esiste per prevenire. E per le domande senza una risposta reale nel bilancio, l’IA si è rifiutata correttamente, oppure ha inventato con sicurezza una cifra? Quest’ultimo caso, un numero fabbricato su una domanda che avrebbe dovuto ricevere un rifiuto, è considerato l’esito peggiore in assoluto che l’harness possa rilevare, perché è quel numero a finire sbagliato in un board pack.

Perché un punteggio aggregato nasconderebbe il problema

Un unico numero titolo come “92% di accuratezza” può nascondere molto. E del tutto possibile che le ricerche sul conto economico portino l’intero set di test verso una media dall’aspetto rispettabile, mentre le domande sui flussi di cassa, che richiedono di combinare correttamente più cifre, performino di nascosto molto peggio sotto la superficie. Per questo i risultati vengono suddivisi per categoria, non riportati come un unico numero, e la categoria più debole viene segnalata esplicitamente invece di essere diluita nella media. Questo conta nella pratica: un team di due diligence che chiede specificamente dei flussi di cassa riceve una risposta sui flussi di cassa, non un numero mescolato con domande più facili.

L’harness verifica anche un livello oltre i numeri esatti: se il commento circostante dell’IA, le frasi narrative attorno a una cifra e non solo la cifra stessa, deriva davvero dalle prove citate, invece di aggiungere un’affermazione non supportata travestita da linguaggio sicuro. Questo e il tipo di errore a cui le funzioni “insight IA” dei concorrenti sono più esposte, perché un’affermazione narrativa non fallisce in modo rumoroso come un numero sbagliato.

Gira a ogni modifica, non solo una volta

Il senso di misurare tutto questo non è un report da mettere una tantum in una presentazione. E integrato nello stesso processo che rilascia le modifiche al prodotto: una modifica al retrieval, ai prompt o al modello sottostante deve superare questo set di test prima di essere unita al codice principale, e se la precisione delle citazioni o la correttezza dei rifiuti scende sotto una soglia concordata, quella modifica non viene rilasciata. Una riscrittura che rende silenziosamente l’IA meno disposta a rifiutare, scambiando un sicuro “non ho questo dato” con un’ipotesi sicura di se, viene intercettata qui prima di raggiungere il board pack di chiunque, non dopo.

I limiti onesti

Questo non significa che l’IA non commetta mai un errore, significa che gli errori vengono misurati, tracciati per categoria, e ogni regressione viene intercettata prima del rilascio invece di essere scoperta da un cliente. Dipende anche dal fatto che quel set di test resti ancorato a bilanci reali e a cifre genuinamente assenti, il che e a sua volta una disciplina: vedi l’archivio canonico degli atomi per come i dati sottostanti restano ancorati ai documenti sorgente fin dall’inizio, e calibrazione e taratura della fiducia per come lo stesso approccio misurato e basato sulle prove governa quando un controllo può bloccare un’esportazione.

In sintesi

“Fidati della nostra IA” e una frase. Un set di test che misura la precisione delle citazioni e il comportamento di rifiuto a ogni modifica, e blocca una release che peggiora uno dei due, e una prova. Se vuoi vedere cosa succede quando le prove e il verdetto di una risposta vengono conservati per dopo, leggi il registro di audit delle risposte, oppure vai all’hub inside-the-rexfin-platform per capire come si incastra tutto.