Come sottoporre a stress test uno strumento di IA finanziaria prima di fidarti

Un fornitore si siede di fronte a te e dice che la sua IA è “accurata al 98% sui dati finanziari”. Fagli una domanda: 98% di cosa, misurato rispetto a quali risposte? Nella maggior parte delle demo, la risposta onesta è che il numero proviene da un benchmark pubblico, eseguito sui bilanci di qualcun altro, valutato con un metodo che non puoi vedere. Non ti dice quasi nulla su come si comporterà lo strumento sulle tue scritture di chiusura, sulle tue eliminazioni infragruppo, sul tuo piano dei conti disordinato.

Anche la ricerca pubblicata non è rassicurante. Su FinanceBench, un benchmark di oltre 10.000 coppie domanda-risposta tratte da bilanci pubblici statunitensi, un primo test di GPT-4-Turbo abbinato a un sistema di retrieval ha risposto in modo errato o si è rifiutato di rispondere a circa l’81% di un campione di 150 domande. Si tratta di un modello all’avanguardia, con retrieval, su documenti SEC puliti. I tuoi dati sono più difficili.

Quindi smetti di fidarti dell’accuratezza da titolo. Costruisci il tuo test. Un golden dataset è il pomeriggio più utile che un team finanziario possa spendere prima di firmare qualsiasi cosa, ed è l’unica prova che sopravvive a una domanda successiva del comitato di audit.

Cos’è davvero un golden dataset

Un golden dataset è un insieme fisso di domande sui tuoi dati finanziari di cui conosci già la risposta corretta, ratificata da una persona in grado di difenderla. Non la risposta di un modello. La risposta di un controller, legata al libro mastro.

Ogni voce ha quattro parti: la domanda così come la formulerebbe davvero un utente, la risposta corretta con unità e segno, la fonte a cui è tracciabile (quale conto, quale periodo, quale prospetto) e il calcolo che la produce. “Qual è stato il free cash flow del Q3?” è una domanda. “4,18 milioni di dollari, flusso di cassa operativo di 6,02 milioni meno capex di 1,84 milioni, secondo il rendiconto finanziario” è una risposta golden. La matematica e la tracciabilità fanno parte del record, non sono un ripensamento.

Non servono migliaia di voci. Servono quelle che contano e quelle che rompono le cose.

Cosa inserire

Attingi deliberatamente da quattro categorie.

Casi di retrieval. Ricerche semplici. “Qual è stato il fatturato totale l’ultimo anno fiscale?” Verificano se lo strumento trova la cifra giusta nel periodo giusto. Sembrano banali. Sono dove si nascondono gli errori di dati obsoleti, perché un modello citerà volentieri il numero dell’anno scorso con piena sicurezza.

Casi di calcolo. Qualsiasi cosa richieda matematica: margine lordo, crescita anno su anno, giorni medi di incasso, un bridge EBITDA a tre righe. È qui che la maggior parte degli strumenti di IA finanziaria fallisce silenziosamente. Un modello può recuperare due numeri corretti e comunque invertire il rapporto, confondere una variazione assoluta con una percentuale, o cambiare il segno di un’uscita di cassa. La risposta sembra plausibile. È sbagliata. È la modalità di fallimento che trattiamo in L’IA ha preso i numeri giusti e sbagliato la matematica, ed è il motivo principale per testare il calcolo separatamente dal retrieval.

Casi avversariali. Domande progettate per provocare una risposta sbagliata ma sicura di sé. Chiedi una metrica che non riporti. Chiedi di un periodo che non esiste ancora. Poni una domanda con una premessa falsa incorporata (“Perché il margine è calato nel Q2?” quando in realtà è salito). Uno strumento affidabile dice che non può rispondere o corregge la premessa. Uno debole fabbrica. Vuoi sapere quale hai comprato.

Casi multi-fonte. Domande che costringono lo strumento a riconciliare tra sistemi: una cifra che appare sia nel GL sia in una piattaforma di fatturazione, un numero consolidato che copre due entità. Se lo strumento attinge da una sola fonte e ignora il conflitto, lo vedrai qui.

Punta a poche decine fino a un paio di centinaia di voci. Distribuiscile in modo che i casi di calcolo e quelli avversariali siano ben rappresentati, perché sono quelli che muovono il tasso di superamento.

Fissa una soglia, e fai in modo che faccia male

Scegli un numero prima di eseguire il test, per iscritto. Noi usiamo il 95% come soglia di partenza per qualsiasi cifra che finisce in un report o in una presentazione al consiglio, e soglie più basse ti danno pochissimo. Al 90%, una risposta su dieci è sbagliata, e non puoi prevedere quale, il che significa che una persona deve ricontrollarle tutte. L’intero senso dello strumento evapora.

Poi definisci con precisione cosa significa “corretto”. Corrispondenza esatta sulla cifra. Segno giusto. Unità giuste. Periodo giusto. Uno strumento che restituisce l’ordine di grandezza giusto ma con il segno sbagliato non è corretto al 90% su quella voce; è sbagliato. Valutalo così. Sii più rigoroso sui casi di calcolo e multi-fonte rispetto al semplice retrieval, perché sono quelli che un controller non può verificare a occhio.

Un’altra regola che vale la pena mutuare dalla checklist di verifica per la presentazione al consiglio: una risposta senza una fonte tracciabile conta come un errore, anche se la cifra risulta essere corretta. Un numero giusto che non puoi provare non è un asset in un audit. È una passività in attesa di una domanda.

Ritesta per il drift, secondo un calendario

Ecco la parte che la maggior parte dei team salta. Superi il test a febbraio e presumi che lo strumento sia sicuro a luglio. Potrebbe non esserlo. Il modello dietro di esso viene aggiornato. I tuoi dati cambiano forma. I prompt vengono modificati. Un’accuratezza che era del 96% può scivolare silenziosamente all’88% senza alcun annuncio, perché nulla si è rotto in modo visibile.

Esegui il golden dataset mensilmente, o dopo ogni cambiamento del modello o dell’integrazione, a seconda di cosa arriva prima. Traccia il tasso di superamento nel tempo. Un calo di due punti è un segnale che vale la pena indagare; un calo di cinque punti è un motivo per sospendere l’affidamento allo strumento finché non ne capisci la causa. Questa è la differenza tra fidarsi di uno strumento una volta e governarlo con continuità.

Cosa misura davvero il test

Ridotto all’osso, un golden dataset pone due domande a qualsiasi strumento di IA finanziaria. Ha trovato il numero giusto? Ha fatto la matematica giusta? La maggior parte degli strumenti che va bene sulla prima fallisce sulla seconda, perché il calcolo viene eseguito da un modello linguistico che predice come dovrebbe apparire un numero anziché calcolarlo.

Questo è il punto architetturale sotto tutto questo. Se la matematica gira dentro l’LLM, il tuo tasso di superamento sarà sempre una probabilità, e slitterà. L’unica correzione durevole è togliere completamente il calcolo al modello.

Ecco come è costruito Rexfin. Colleghiamo le tue piattaforme di contabilità o gli estratti conto caricati, li riconciliamo in un unico modello che quadra con il libro mastro, e poi lasciamo che l’IA recuperi le cifre ed esegua ogni calcolo attraverso un motore deterministico, non il modello linguistico. Stessi input, stessa risposta, ogni volta, con un collegamento alla fonte. Esegui il tuo golden dataset contro un sistema costruito così e i casi di calcolo smettono di essere quelli che falliscono.

Costruisci il dataset prima di comprare qualsiasi cosa. Poi prenota una demo e punta le tue domande più difficili direttamente su di noi. Se i numeri non quadrano con il tuo libro mastro, dovresti andartene. Preferiamo che tu ci metta alla prova piuttosto che ti fidi di noi.