Leggere i benchmark onestamente: perché un'accuratezza LLM dell'82% è insufficiente in finanza

Una slide di un fornitore dice che il loro modello raggiunge il 90% di accuratezza sul question-answering finanziario. La sala annuisce. Sembra un A-meno. A scuola, il 90% era il quadro d’onore.

Passa lo stesso numero attraverso una lente finanziaria e smette di sembrare un A. Novanta percento di accuratezza significa che una cifra su dieci è sbagliata. Mettilo in una presentazione al board con quaranta numeri e, in media, quattro sono sbagliati. Non sai quali quattro. Non lo sa nemmeno il modello, che difenderà tutti e quaranta con la stessa fluente sicurezza. Questo non è il quadro d’onore. In una funzione il cui intero compito è avere ragione sui numeri, è un voto insufficiente.

I benchmark meritano una lettura più attenta della cifra in copertina, perché più guardi da vicino, più forte diventa l’argomentazione per togliere del tutto la matematica al modello linguistico.

Cosa misurano davvero i benchmark

Parti da FinanceBench, la suite di test aperta per il question-answering finanziario costruita su bilanci pubblici. L’impostazione è generosa verso il modello: le domande sono abbinate ai documenti esatti che contengono le risposte, tratti dai bilanci di 40 grandi aziende quotate negli Stati Uniti. Questa è la versione facile del compito reale. Nessuno sta nascondendo il 10-K.

I risultati non sono stati altrettanto generosi. Nel lavoro originale, GPT-4-Turbo abbinato a un sistema di retrieval ha risposto in modo errato o si è rifiutato di rispondere nell’ordine dell’81% delle domande nelle configurazioni più difficili. Tra le varie configurazioni, GPT-4 ha ottenuto risposte corrette tra circa il 19% e l’89% delle volte, e questo ampio intervallo è la parte su cui vale la pena riflettere. Stesso modello, stessa famiglia di compiti, accuratezza che oscilla di decine di punti a seconda di come era organizzato il contesto. Uno studio ha scoperto che il solo spostare il contesto prima della domanda invece che dopo ha portato GPT-4-Turbo da circa il 25% a circa il 78%. Il modello non stava ragionando verso una risposta stabile. Stava reagendo alla forma del prompt.

Ora il lato dei fogli di calcolo, più vicino a come lavorano davvero i team finanziari. FinSheet-Bench valuta i modelli su compiti con fogli di calcolo finanziari costruiti su strutture realistiche di fondi di private equity, ricerche semplici all’estremo facile, ragionamento numerico multi-passo all’estremo difficile. La configurazione migliore testata, Gemini 3.1 Pro, ha raggiunto circa l’82,4% di accuratezza sui file di valutazione. Dietro, GPT-5.2 e Claude Opus 4.6 con il ragionamento attivato si sono raggruppati intorno all’80%.

Leggilo come un punteggio da primo della classe e resta comunque circa un errore ogni sei domande. La conclusione dell’articolo stesso è netta: tra le configurazioni testate di OpenAI, Google e Anthropic, nessun modello standalone ha raggiunto tassi di errore abbastanza bassi per un uso non supervisionato nella finanza professionale. Non è uno slogan di Rexfin. È il risultato dello studio.

Perché “usa un modello migliore” non colma il divario

L’istinto, ogni volta, è aspettare la prossima versione. I punteggi sono saliti anno dopo anno, quindi prima o poi la linea supererà la soglia di sicurezza.

Due cose rendono quell’ottimismo costoso.

Primo, gli errori non sono rumore casuale che si compensa nella media. Un modello che inverte un ratio, legge un numero in migliaia come se fosse in milioni, o inverte il segno su un’uscita di cassa non fa un piccolo errore: ne fa uno sicuro di sé e strutturale, e lo fa esattamente nel punto in cui un revisore umano ha meno probabilità di ricontrollare perché la narrazione circostante si legge in modo pulito. Un punteggio del 90% con errori ben comportati è una cosa. Un punteggio del 90% dove quel 10% include errori di ordine di grandezza è tutt’altro, ed è qualcosa che un controller non può firmare.

Secondo, l’accuratezza dei benchmark è misurata su dati puliti e curati. I tuoi dati non sono puliti. Vivono tra QuickBooks, un’istanza NetSuite ereditata da un’acquisizione, tre magazzini e una cartella di PDF che qualcuno ha scansionato storti. L’accuratezza sui bilanci puliti è il tetto, non il pavimento. Il numero che otterresti davvero sui tuoi dati finanziari disordinati e multi-fonte è più basso di qualsiasi classifica, e nessun benchmark lo pubblica perché nessun benchmark ha i tuoi libri contabili.

Quindi l’inquadratura onesta non è “i modelli sono cattivi.” I modelli di frontiera sono genuinamente forti nel leggere, riassumere e spiegare. L’inquadratura onesta è più ristretta e più utile: non sono motori aritmetici affidabili, e non sono mai stati costruiti per esserlo. Chiedere a un LLM di calcolare una variazione anno su anno significa chiedere a un sistema addestrato a prevedere testo plausibile di produrre invece una cifra esatta e difendibile. A volte il token plausibile è anche quello corretto. Il diciotto percento delle volte, nei casi difficili, non lo è.

Il numero che dovrebbe cambiare l’architettura, non il fornitore

Ecco la mossa a cui puntano i benchmark. Se il punto debole del modello linguistico è il calcolo esatto su numeri reali, smetti di chiedergli di calcolare.

Lascia che il modello faccia ciò in cui è bravo, capire la domanda, trovare le cifre giuste, scrivere la spiegazione, e instrada ogni calcolo effettivo attraverso un motore deterministico che opera su un modello riconciliato dei tuoi libri contabili. L’LLM recupera e ragiona. La matematica gira come codice, allo stesso modo in cui gira in una formula. Stessi input, stesso output, ogni volta, con un percorso di ritorno alla riga sorgente nel libro mastro.

Quella singola separazione cambia il significato dei numeri del benchmark per te. Il tasso di errore del 18% sui fogli di calcolo e l’ampio intervallo di FinanceBench misurano entrambi il modello mentre fa aritmetica. Togli l’aritmetica dal suo compito e quelle modalità di errore, il ratio invertito, l’ordine di grandezza sbagliato, il segno capovolto, smettono di essere probabilistiche. Diventano una funzione che puoi testare una volta e di cui puoi fidarti. Il modello può ancora fraintendere una domanda, e un umano continua a rivedere l’inquadratura. Ma non può più consegnarti silenziosamente un numero sbagliato di un fattore dieci accompagnato da una frase pulita.

Questa è la base sotto tutto il resto. È il motivo per cui un foglio di calcolo è il posto sbagliato per lasciare che l’IA scriva numeri: erediti ogni errore silenzioso invece di eliminare la classe di errore. Ed è il motivo per cui un numero prodotto dall’IA dovrebbe essere riproducibile come una formula: input identici che producono una cifra identica, con un percorso tracciabile, è esattamente ciò che offre un livello deterministico e ciò che un modello standalone non può offrire. L’argomentazione più ampia si trova nel pillar su il livello affidabile di modellazione finanziaria per l’IA.

La versione diretta

La prossima volta che un numero di benchmark atterra in una riunione, fai la traduzione ad alta voce. Novanta percento è una cifra sbagliata su dieci. Ottantadue percento è una risposta sbagliata su sei. Poi chiedi quali sei numeri nella presentazione il team è disposto a non controllare, perché è esattamente questo che significa fidarsi dell’output grezzo del modello.

I benchmark non sono un argomento per aspettare un modello migliore. Sono un argomento per un’architettura diversa: ragionamento nel modello, matematica in un livello che non può allucinare. È l’unica configurazione in cui il punteggio sulla slide e il numero nel tuo report possono essere la stessa cosa.

Se vuoi vedere l’aritmetica tolta al modello e fatta girare su una fonte di verità riconciliata, prenota una demo e porta la tua riconciliazione più disordinata. Quello è il test che conta.