Perché la Tua IA Sbaglia i Numeri

Chiedi a un modello di frontiera di moltiplicare due numeri primi grandi e osserva cosa succede. I ricercatori hanno scoperto che l’accuratezza di GPT-4 in un compito di moltiplicazione crollava man mano che i numeri crescevano, passando da quasi perfetta su operandi piccoli a quasi nulla su operandi più grandi. Stesso modello. Stessa struttura del prompt. L’unica cosa che cambiava era la dimensione delle cifre.

Questo dovrebbe preoccupare qualunque responsabile finanziario a cui è stato detto che un assistente IA può «gestire i numeri». Perché il fallimento non è casuale. È strutturale. E ha un nome.

Il modello non vede mai il tuo numero

I modelli linguistici di grandi dimensioni non elaborano il testo come fai tu. Prima che un solo peso si attivi, il tuo input viene suddiviso in token, i frammenti che il modello legge davvero. Per le parole va quasi sempre bene. Per i numeri è un disastro silenzioso.

A seconda del tokenizzatore, «1.234.567» potrebbe dividersi in «1», «.», «234», «.», «567», o qualche altro raggruppamento arbitrario. Il modello non vede un milione duecentotrentaquattromilacinquecentosessantasette. Vede una sequenza di frammenti senza un valore numerico intrinseco. Non c’è una colonna di valore posizionale. Non c’è alcun concetto per cui la cifra più a sinistra valga un milione di volte quella più a destra. La struttura aritmetica che un bambino di dieci anni capisce è semplicemente assente dalla rappresentazione.

Quindi cosa fa il modello quando gli chiedi di sommare, moltiplicare o calcolare un margine? Predice il token successivo. Fa pattern-matching contro i miliardi di sequenze numeriche viste in addestramento. Quando il tuo esempio somiglia a qualcosa di comune, il pattern regge e la risposta sembra corretta. Quando non è così, il modello produce un numero sicuro di sé, plausibile e sbagliato.

Questa è la parte che dovrebbe tenerti sveglio la notte. Non è una calcolatrice che occasionalmente sbaglia. È un predittore di testo che imita una calcolatrice.

«Plausibile» è tutto il problema

Una calcolatrice rotta restituisce un errore. Un LLM fa qualcosa di peggio: restituisce un numero che sembra esattamente corretto. Ordine di grandezza giusto. Formato giusto. Sicurezza giusta. Valore sbagliato.

Valutazioni indipendenti sugli LLM in compiti di aritmetica multi-step e attività simili alla riconciliazione hanno mostrato ripetutamente tassi di fallimento che si collocano approssimativamente tra il 40 e il 50 percento sui problemi deterministici più difficili, a seconda del benchmark e della dimensione degli operandi. La cifra esatta cambia con il test. La direzione no. Spingi un modello oltre i pattern che ha memorizzato e l’accuratezza degrada, spesso in modo netto.

In finanza, quel degrado non è una curiosità accademica. I tuoi numeri sono grandi. I tuoi calcoli si concatenano: i ricavi alimentano il margine lordo che alimenta l’EBITDA che alimenta un covenant ratio. Un errore da pattern-matching all’inizio si propaga attraverso tutto ciò che segue, e siccome ogni valore intermedio sembra ragionevole, nessuno se ne accorge finché un membro del board non fa i conti a mano.

Perché «usa un modello più grande» non ti salverà

La soluzione intuitiva è aspettare il prossimo modello, più intelligente. Non risolverà il problema. Il problema non è l’intelligenza. È l’architettura. Un modello più capace è un pattern-matcher migliore, ma sta comunque facendo pattern-matching. Tokenizza comunque «47.318.902» in frammenti privi di significato. Il potenziamento rende l’imitazione più convincente, non l’aritmetica più corretta.

Peggio ancora, la tendenza va nella direzione opposta per alcuni modelli «di ragionamento», che possono introdurre più punti in cui un errore sicuro di sé può insinuarsi lungo catene più lunghe. Più passaggi, più superficie per un valore intermedio sbagliato che sembra giusto.

Se vuoi che un numero sia corretto, il modello deve smettere di indovinarlo.

La soluzione: smettere di chiedere all’LLM di fare i calcoli

L’architettura affidabile è quasi banale da enunciare. Lascia che il modello linguistico faccia quello in cui è genuinamente bravo, capire la tua domanda, interpretare l’intento, spiegare i risultati, e affida il calcolo vero e proprio a qualcosa che non indovina.

Quel qualcosa è un motore deterministico. Aritmetica reale, eseguita da codice che calcola la stessa risposta ogni volta, su cifre verificate. L’LLM recupera gli input giusti e formula il risultato. Non tocca mai la matematica in sé.

Questo è il cuore di come funziona Rexfin. Connettiamo i tuoi dati contabili e finanziari, QuickBooks, Xero, NetSuite, Sage, un data warehouse o estratti conto caricati, e costruiamo un unico modello finanziario riconciliato che quadra con il libro mastro. Quando tu o la tua IA fate una domanda, le cifre vengono recuperate da quel modello e calcolate da un motore di calcolo deterministico, non generate token per token. Ogni output rimanda alla sua riga sorgente. Puoi cliccare su un numero e vedere esattamente da dove viene e come è stato derivato.

Da questa architettura derivano due conseguenze:

• L’aritmetica è corretta perché l’ha fatta il codice, non perché una distribuzione di probabilità è capitata sul punto giusto.
• Gli input sono corretti perché sono riconciliati con i tuoi libri contabili prima che l’IA li veda, quindi non stai calcolando con precisione su dati inaffidabili.

Il secondo punto conta quanto il primo. Una calcolatrice perfetta su dati non riconciliati ti dà comunque una risposta sbagliata, ma ben formattata. La fiducia richiede entrambe le metà: input verificati e calcolo deterministico. Questo è l’argomento che attraversa tutto questo filone su come costruire un livello di modellazione finanziaria affidabile per l’IA.

Cosa significa in pratica

Immagina la differenza. Chiedi: «Qual era il nostro margine lordo aggregato l’ultimo trimestre, e come si muove se il COGS aumenta del 6 percento?»

Un LLM non ancorato ai dati recupera alcuni numeri dal suo contesto, tenta le percentuali mentalmente e ti consegna un margine. Forse è corretto. Non hai modo di saperlo senza rifarlo tu stesso.

Un sistema ancorato e deterministico estrae le cifre riconciliate di ricavi e COGS, esegue il calcolo del margine nel codice, applica la variazione del 6 percento come uno scenario what-if reale, e ti mostra il risultato con ogni input citato. Non ti stai fidando dell’aritmetica dell’IA. Ti stai fidando del tuo stesso libro mastro, con una calcolatrice montata sopra e una traccia di audit allegata.

È una postura completamente diversa. Una ti chiede di credere. L’altra ti permette di verificare.

I limiti onesti

Niente di tutto questo rende il modello linguistico in sé un’autorità finanziaria, e non dovrebbe fingere di esserlo. Il modello può ancora fraintendere una domanda ambigua o formulare male un risultato. Ciò che cambia è che i numeri sottostanti smettono di essere una supposizione. L’interpretazione può essere rivista. L’aritmetica, quando è deterministica e tracciabile, non deve essere ricalcolata a mano.

Se sistemi solo la matematica e lasci i dati disordinati, hai risolto metà del problema. È per questo che il problema del 95% nei pilot GenAI riconduce così spesso alla preparazione dei dati, e perché anche un code interpreter non basta da solo, un punto che vale la pena capire prima di affidarti al retrieval per ancorare le tue risposte finanziarie.

La conclusione è netta: un’IA che sbaglia i tuoi numeri non è rotta, sta funzionando come progettata. La soluzione non è un indovino più intelligente. È un sistema che non deve indovinare.

Vuoi vedere il calcolo deterministico applicato alle tue stesse cifre riconciliate? Prenota una demo e porta un numero che hai colto un’IA sbagliare.