Come valutare un finance agent: costruite la scheda di accuratezza prima di fidarvi dei numeri

Un fornitore entra nella vostra sala riunioni, digita “qual era il nostro margine lordo del trimestre scorso e perché si è mosso?” in una chat box curata, e in quattro secondi appare una risposta con un paragrafo sicuro di sé e un grafico. La sala annuisce. Qualcuno dice “portiamolo in produzione”.

Quella demo ha dimostrato esattamente una cosa: l’agente può produrre una risposta plausibile a una domanda scelta dal fornitore, su dati preparati dal fornitore, senza alcun modo per voi di verificare se il numero sia corretto. È teatro. E il divario tra “sembra giusto” ed “è giusto” è dove finiscono le carriere.

I numeri scomodi dei benchmark lo confermano. Su FinanceBench, una suite di test composta da terzine domanda-risposta-evidenza tratte da vere comunicazioni SEC, i modelli hanno risposto correttamente solo a circa il 47% delle domande realistiche, ne hanno sbagliate completamente il 26%, e hanno fallito o rifiutato sul resto. Una configurazione molto citata di GPT-4-Turbo con retrieval ha mancato o eluso circa l’81% delle domande. Non sono compiti banali. Sono il tipo di lavoro, “leggi il documento, trova il dato, ragionaci sopra”, che un team finance svolge ogni giorno.

Quindi, prima che qualsiasi agente tocchi il vostro reporting, avete bisogno del vostro test. Non quello del fornitore. Il vostro.

Perché una singola domanda demo è l’unità di misura sbagliata

Il problema più profondo è che una singola risposta corretta non vi dice nulla sulla successiva. I large language model sono probabilistici. Fate la stessa domanda due volte e potete ottenere due numeri diversi, anche con la temperatura fissata a zero, a causa di arrotondamenti in virgola mobile, comportamento dei kernel GPU e effetti legati alla dimensione dei batch che non controllate. Lavori pubblicati sulla deriva dell’output nei flussi di lavoro finanziari hanno misurato oscillazioni di accuratezza fino al 15% tra esecuzioni identiche, con divari tra il caso migliore e quello peggiore molto più ampi.

Per un CFO, questo cambia tutto. Uno strumento che è corretto il 90% delle volte non è uno strumento che sbaglia il 10% delle volte in modo prevedibile. È uno strumento che sbaglia su un diverso 10% imprevedibile ogni volta che lo eseguite. Non potete firmare una presentazione al consiglio su questa base. Non potete metterla davanti a un revisore.

Una scheda di accuratezza esiste per trasformare “sembrava giusto nella demo” in un numero che potete difendere: un tasso di successo misurato, rispetto a risposte note e corrette, che potete rieseguire su richiesta.

Le tre cose che la scheda deve misurare

La maggior parte degli sforzi di valutazione misura una sola cosa, se ha ottenuto la risposta giusta, e si ferma lì. Non è sufficiente per la finanza. Servono tre dimensioni, perché un agente può fallire in tre modi indipendenti.

Accuratezza a livello di campo. La cifra corrisponde alla verità riconciliata, al centesimo o all’arrotondamento corretto? Non “la risposta è nel giro giusto”. Un fatturato di 48,2 milioni di dollari quando il registro contabile dice 48,7 milioni non è quasi corretto. È sbagliato. Valutate ogni cifra come promossa o bocciata rispetto a un valore noto.

Coerenza delle risposte. Fate la stessa domanda cinque volte, in cinque esecuzioni separate, idealmente in giorni diversi. Ottenete lo stesso numero ogni volta? L’incoerenza è una modalità di fallimento a sé stante, separata dall’accuratezza. Un agente che è corretto alla prima esecuzione e silenziosamente devia alla quarta è più pericoloso di uno costantemente sbagliato, perché quest’ultimo lo avreste notato.

Tracciabilità. Per ogni cifra, l’agente può mostrare da dove è arrivata, quale conto, quale periodo, quale record sorgente, in modo che una persona possa ripercorrere il percorso? Una risposta che non potete tracciare è una risposta che non potete verificare. Abbiamo trattato il motivo per cui la ripercorribilità è un requisito rigoroso, non una funzionalità, in Audit trail che registrano decisioni, non solo azioni.

Non si può correggere un test senza una griglia di correzione

Ecco la parte che tutti saltano. Per misurare l’accuratezza a livello di campo, avete bisogno di una verità di riferimento: un insieme di domande finanziarie di cui conoscete già e di cui vi fidate delle risposte corrette. E quelle risposte devono provenire da un luogo che quadra con il registro contabile, non da una seconda IA, non dalla memoria di un controller, non dalla presentazione del trimestre scorso.

È qui che la maggior parte dei progetti di valutazione crolla silenziosamente. I team scoprono di non avere in realtà una fonte di verità pulita rispetto a cui valutare. I loro numeri vivono in tre sistemi che divergono ai margini, una mezza dozzina di fogli di calcolo, e un foglio di consolidamento che solo una persona capisce. Se la vostra “risposta corretta” è essa stessa non riconciliata, la vostra scheda sta misurando un agente contro un’ipotesi.

Costruire la griglia di correzione è quindi il vero lavoro. Scegliete da 50 a 100 domande che coprano le forme che contano davvero: ricerche puntuali (liquidità a fine periodo), calcoli (margine lordo, variazione anno su anno, un indice di covenant), confronti tra periodi diversi, e almeno alcune domande multi-entità o consolidate, dove gli errori amano nascondersi. Per ciascuna, bloccate la risposta corretta rispetto al vostro modello riconciliato. Quell’insieme è il vostro dataset di riferimento, ed è la cosa più preziosa che l’esercizio produce. Approfondiamo come assemblarne uno in Come stress-testare uno strumento IA per la finanza.

Metterla in pratica: la scheda in azione

Una volta che la griglia di correzione esiste, il framework è meccanico. Fissate una soglia in anticipo (noi non metteremmo nulla al di sotto del 95% di accuratezza a livello di campo vicino al reporting esterno) e valutate rispetto a essa.

• Tasso di successo dell’accuratezza. Percentuale di cifre che corrispondono esattamente alla verità di riferimento. Riportatelo per tipo di domanda, non solo in aggregato: un agente può eccellere nelle ricerche e fallire ogni calcolo, e un punteggio combinato nasconde questo fatto.
• Tasso di coerenza. Percentuale di domande che restituiscono una risposta identica in tutte le esecuzioni ripetute. Qualsiasi valore inferiore al 100% sulle cifre è un segnale d’allarme che merita di essere capito prima di procedere.
• Tasso di tracciabilità. Percentuale di risposte che includono un percorso sorgente che una persona può ripercorrere fino al registro contabile.
• Deriva. Rieseguite l’intera scheda mensilmente. I modelli vengono aggiornati silenziosamente. I vostri dati cambiano. Uno strumento che ha superato il test a marzo può fallire a giugno, e solo un test permanente ve lo dirà.

Un’opinione schietta: se un fornitore resiste a eseguire il proprio strumento contro il vostro dataset di riferimento, o vuole “aiutarvi a preparare le domande”, avete imparato ciò che dovevate sapere. Lo scopo della scheda è che non sono loro a scegliere il test.

Il vincolo che nessuno pubblicizza

Niente di tutto questo funziona se è l’agente stesso a fare l’aritmetica. Un LLM che ricalcola un rapporto a ogni esecuzione devierà a ogni esecuzione: non è un problema di ottimizzazione, è ciò che fa quell’architettura per natura. Gli agenti che superano un test di coerenza sono quelli che recuperano le cifre da un unico modello riconciliato e fanno passare ogni calcolo attraverso un motore deterministico, così che input identici producano output identici per costruzione. Il ragionamento può restare probabilistico. La matematica no. Quella separazione è l’intera tesi del trust layer dell’IA agentica, ed è il motivo per cui abbiamo costruito Rexfin in modo che i numeri provengano da un’unica fonte di verità che quadra con il registro contabile, e la risposta risalga sempre a quella fonte.

Una scheda di accuratezza è il modo per smettere di fidarsi delle demo e iniziare a fidarsi delle prove. Costruite il vostro dataset di riferimento, fissate la soglia, e fate in modo che ogni strumento, incluso il nostro, si guadagni il suo posto rispetto a numeri di cui sapete già che sono corretti.

Se volete vedere come si presenta un finance agent quando ogni cifra risale a una fonte riconciliata e la matematica è deterministica anziché indovinata, prenotate una demo e portate le vostre domande.