L'IA ha preso i numeri giusti e sbagliato la matematica: la classe nascosta delle allucinazioni finanziarie

Un responsabile finance ha chiesto a un assistente IA la variazione del margine operativo tra due trimestri. Il modello ha citato entrambe le cifre correttamente: 18,2% il trimestre scorso, 14,9% questo trimestre. Entrambi i numeri quadravano con il bilancio depositato. Poi ha riportato la variazione come un “calo del 3,3%.” Non lo era. Il margine è sceso di 3,3 punti percentuali, il che è un calo relativo del 18%. Due fatti diversi, uno dei due sbagliato, e quello sbagliato è quello che finisce nel board deck.

Questa è la classe di errore che quasi nessuno controlla. Quando i team temono che l’IA inventi le cose, immaginano ricavi inventati o una citazione fabbricata. Questo succede, ed è facile da individuare perché il numero semplicemente non esiste nella fonte. Il fallimento più silenzioso è diverso: ogni input è corretto, la risposta è sbagliata, e nulla nell’output sembra sospetto. Il modello ha recuperato bene. Ha ragionato male.

Input giusti, aritmetica sbagliata

I benchmark recenti sul question-answering finanziario continuano ad arrivare alla stessa divisione. In un’analisi dei fallimenti dei modelli, gli errori di calcolo e i problemi di arrotondamento o precisione contavano ciascuno per circa un terzo di tutte le risposte sbagliate, insieme più di due terzi del totale (arXiv, valutazione in stile FinanceQA). Uno studio separato su modelli multimodali su compiti finanziari ha attribuito circa il 42% dei fallimenti specificamente a errori di calcolo e ragionamento piuttosto che di recupero dati (arXiv, benchmark FAITH). Lo schema è coerente: il modello trova le celle giuste, poi sbaglia cosa farne.

Alcune forme di errore ricorrono continuamente nel lavoro finanziario:

• Variazione assoluta contro percentuale. Confondere uno spostamento in punti percentuali con una variazione percentuale relativa, esattamente l’esempio del margine sopra.
• Inversione di rapporto. Riportare debito su capitale proprio quando la domanda chiedeva capitale proprio su debito, o invertire numeratore e denominatore in un rapporto di copertura. Entrambi i numeri sono reali; la relazione è al contrario.
• Segno sbagliato sui flussi di cassa. Trattare un impiego di cassa come una fonte, o compensare un afflusso di finanziamento contro un deflusso operativo così che la direzione del flusso di cassa libero si inverte.
• Deriva di unità e scala. Mescolare migliaia con milioni, o portare una cifra espressa in punti base in un calcolo che si aspetta un decimale.

Nessuno di questi fa scattare un controllo di recupero dati. I numeri di partenza sono presenti e accurati. È questo che rende la classe pericolosa. Il vostro istinto, e quello del vostro revisore, è controllare se l’IA ha preso le cifre giuste. Le ha prese. Il difetto è un livello più in profondità.

Perché un modello linguistico fa questo

Aiuta capire il meccanismo invece di trattarlo come casualità imprevedibile. Un modello linguistico non calcola. Predice il token successivo da schemi statistici nel testo. I numeri vengono tokenizzati per il linguaggio, non per la matematica, e una singola cifra è spesso suddivisa su più token, quindi il modello non opera mai sulla struttura matematica dell’espressione (arXiv, tokenizzazione e aritmetica). Ha anche imparato che “la variazione da 18,2 a 14,9” è frequentemente seguita da una formulazione tipo “un calo del 3,3%,” perché quella formulazione è comune nel testo, anche quando è imprecisa. Il modello sta riproducendo come le persone parlano del calcolo, non eseguendo il calcolo.

Non c’è un blocco per gli appunti che è tenuto a rispettare, nessuno stato intermedio che è tenuto a preservare tra i passaggi, e nessun controllo interno che un rapporto sia uscito nel verso giusto. I ricercatori hanno misurato quanto sia fragile questo processo: piccoli cambiamenti nel modo in cui un problema è formulato possono far oscillare l’accuratezza di decine di punti percentuali in entrambe le direzioni, un divario di robustezza documentato ripetutamente nei benchmark di ragionamento aritmetico. Un processo così fragile va bene per abbozzare una frase. Non va bene per il calcolo di un covenant.

Per essere onesti sui limiti della preoccupazione: i modelli più avanzati sono migliorati molto, e su alcuni benchmark curati di allucinazione finanziaria i modelli più forti oggi superano il 90% di accuratezza. Ma “il 90% delle volte la matematica è giusta” è la descrizione di un problema, non una rassicurazione, quando l’output alimenta decisioni e i fallimenti sono invisibili a una lettura rapida. Un tasso di errore del 9% che non potete vedere è peggio di uno del 20% che potete vedere.

La soluzione è strutturale, non un prompt migliore

Non potete uscire da questo in modo affidabile con un prompt. Chiedere al modello di “mostrare il proprio lavoro” o di “ricontrollare la matematica” riduce il tasso ma non lo elimina, perché il verificatore è lo stesso meccanismo difettoso che ha prodotto l’errore. L’unico modo per rimuovere un’intera classe di errori aritmetici è smettere completamente di lasciare che sia il modello linguistico a fare l’aritmetica.

Questo è il principio di progettazione dietro Rexfin. Separiamo i due compiti che gli strumenti attuali collassano in uno solo. Il modello linguistico è bravo a capire l’intento, trovare le cifre rilevanti e spiegare i risultati in linguaggio semplice. Quindi gli permettiamo di fare esattamente questo, e nient’altro. Il calcolo vero e proprio, ogni rapporto, ogni variazione periodo su periodo, ogni segno del flusso di cassa, passa attraverso un motore di calcolo deterministico che esegue formule definite allo stesso modo ogni volta. Punti percentuali e variazione percentuale sono operazioni diverse per il motore, non due formulazioni che potrebbe confondere. Un rapporto è definito una volta, con un numeratore e un denominatore fissi, quindi non può invertirsi.

Funziona perché le cifre non provengono da testo libero fin dall’inizio. Rexfin si connette alle vostre fonti contabili e di dati finanziari, o a rendiconti caricati manualmente, e costruisce un unico modello finanziario riconciliato che quadra con il libro mastro. L’IA recupera da quell’unica fonte di verità, il motore calcola, e ogni output si ricollega alla cifra e alla formula che lo ha prodotto. Quando un numero arriva davanti a voi, potete vedere sia da dove viene sia come è stato derivato.

Cosa fare con questo

Smettete di validare l’output finanziario dell’IA controllando solo se i numeri di partenza sono giusti. Di solito lo sono. Quel controllo passa mentre un rapporto invertito o un errore punti-contro-percentuale scivola indisturbato sotto di esso. Se volete un filtro pratico, la nostra checklist di verifica per i board deck copre cosa cercare, e se state valutando uno strumento, costruire un dataset di riferimento di calcoli con risposta nota farà emergere esattamente questa modalità di fallimento prima che raggiunga un cliente.

Il punto più ampio: uno strumento che affida la matematica al modello vi sta chiedendo di fidarvi di un processo che non è mai stato costruito per l’aritmetica. La domanda migliore da porre a qualsiasi fornitore IA per la finanza è semplice. Dove avviene effettivamente il calcolo? Se la risposta è “dentro il modello linguistico,” conoscete già il rischio che vi state assumendo. Se volete vedere come appare quando la risposta è “un motore deterministico che quadra con il vostro libro mastro,” prenotate una demo.