Perché «Basta Usare un Code Interpreter» Non Rende l'IA Sicura per la Finanza

Ogni volta che qualcuno fa notare che i modelli linguistici di grandi dimensioni sono scarsi in matematica, un ingegnere sicuro di sé dice sempre la stessa cosa: «basta dargli un code interpreter». Il modello scrive Python, il Python viene eseguito, l’aritmetica è esatta. Problema risolto.

Non lo è.

Il code interpreter risolve un problema reale ma ristretto. Elimina l’unico fallimento che tutti vedono e lascia gli altri quattro che nessuno fotografa. La tua IA smette di affermare che 8,4 per 12 fa 99,2. Bene. Ma il numero che ha moltiplicato per 12 è stato comunque prelevato dalla colonna sbagliata, nel periodo sbagliato, senza una fonte tracciabile. L’output adesso è precisamente sbagliato invece che approssimativamente sbagliato, e un CFO non può notare la differenza semplicemente guardandolo.

Cosa risolve davvero un code interpreter

Quando un modello delega il calcolo a un ambiente Python isolato (o a qualunque strumento con function calling), smette di fare aritmetica «a mente». Questo conta. Gli LLM tokenizzano i numeri come testo e fanno pattern-matching sul risultato, motivo per cui l’accuratezza aritmetica crolla man mano che il numero di cifre cresce. Affida il calcolo a numpy e ottieni una risposta deterministica e ripetibile. Somma una colonna di 4.000 transazioni e il conto torna ogni volta.

Quindi se la domanda è «l’IA può sommare correttamente un elenco di numeri», la risposta con un code interpreter è sì. Non lo mettiamo in discussione. Noi stessi usiamo l’esecuzione deterministica, perché l’LLM non dovrebbe mai essere la calcolatrice.

Il problema è che «somma questi numeri» non è quasi mai il compito vero. Il compito è «qual era il net revenue retention nel Q3, ed è lo stesso numero che mostreremo al board». Quella domanda ha almeno quattro modi di andare storta prima che avvenga qualunque moltiplicazione.

I quattro fallimenti che il code interpreter non tocca mai

1. Input sbagliati

Un code interpreter calcola in modo impeccabile su qualunque cosa gli venga fornita. Dagli in pasto i ricavi lordi quando intendevi netti, ricavi differiti registrati come riconosciuti, o una riga di fattura duplicata, e restituirà una risposta esatta alla domanda sbagliata. Immondizia in entrata, immondizia calcolata perfettamente in uscita. L’ambiente isolato non ha alcuna opinione sul fatto che gli input siano quelli giusti. Non può averla, perché non sa cosa significhi «giusto» nel tuo piano dei conti.

Questo è il fallimento che ti rovina in un board deck, perché i conti tornano. Nessuno mette in dubbio un numero che quadra.

2. Dati non riconciliati

La maggior parte delle aziende non ha un unico insieme di numeri. Ha QuickBooks, un sistema di fatturazione, un CRM con campi ARR aggiornati a mano da qualcuno, e tre fogli di calcolo. Prendi «ricavi» dallo strumento di fatturazione e «ricavi» dal libro mastro e ottieni due cifre diverse, entrambe difendibili, nessuna riconciliata con l’altra.

Un’IA con un code interpreter calcolerà volentieri su entrambe. Non noterà che sono in disaccordo. Non ha alcun concetto di un’unica fonte di verità che quadri con il libro mastro generale, perché la riconciliazione è un problema di dati a monte, non un problema di calcolo a runtime. Quel divario è l’intera ragione per cui gli agenti finanziari autonomi hanno bisogno prima di un livello numerico affidabile. Questa è la parte che i team sottovalutano di più. I sondaggi continuano a trovare che la qualità e l’integrazione dei dati sono l’ostacolo principale per ottenere valore dall’IA in finanza, non l’accuratezza del modello. Il modello non è mai stato il collo di bottiglia.

3. Provenienza mancante

Chiedi a un CFO di presentare un numero a un revisore, a un investitore o a un’autorità di regolamentazione, e la prima domanda è «da dove viene questo». Un code interpreter ti dà un risultato e una trascrizione del Python che lo ha prodotto. Non ti dà una traccia fino al documento sorgente, alla scrittura contabile, al periodo, alla versione del modello. Se non puoi cliccare su una cifra e ripercorrerla fino alla sua origine, non è pronta per un audit, per quanto pulita sia l’aritmetica. È esattamente per questo che le tracce di audit contano più della sola accuratezza quando c’è denaro reale in gioco.

4. Ambiguità di localizzazione e formato

Ecco quella silenziosa. «12,345» sono dodicimilatrecentoquarantacinque o dodici virgola trecentoquarantacinque? Negli Stati Uniti è dodicimilatrecentoquarantacinque. In Germania è circa dodici. Mescola numerali arabo-orientali nello stesso documento e l’analisi peggiora ulteriormente. Un code interpreter esegue qualunque cosa il modello abbia deciso che il numero fosse. Se il modello ha letto male il separatore, l’ambiente isolato calcola fedelmente su un valore fuori di tre ordini di grandezza. Non viene generato alcun errore. Il Python è stato eseguito perfettamente.

Valuta, confini di anno fiscale, percentuale contro punti base, scala di migliaia contro milioni in una tabella riportata. Ognuno di questi è un’interpretazione che avviene prima del calcolo, e la calcolatrice non può cogliere un’interpretazione sbagliata che non vede mai.

Il pattern: il calcolo è il 20% facile

Nota cosa hanno in comune tutti e quattro. Avvengono prima o dopo l’aritmetica, non durante. Un code interpreter è una correzione al livello sbagliato. È come assumere un contabile brillante e consegnargli una scatola di scarpe piena di ricevute non ordinate, etichettate male, forse duplicate. La loro aritmetica sarà perfetta. I bilanci saranno comunque sbagliati.

Ottenere numeri corretti in finanza è per lo più un problema di dati e un problema di provenienza. La matematica è la parte facile, ed è l’unica che il code interpreter affronta.

Cosa rende davvero l’IA sicura per la finanza

La soluzione non è un modello più intelligente o un ambiente isolato più veloce. È un livello di modello riconciliato che si posiziona tra i tuoi dati grezzi e l’IA, e deve fare tre cose che il code interpreter non fa.

• Riconcilia prima. Connetti le fonti contabili e finanziarie, risolvi i conflitti e costruisci un unico modello che quadra con il libro mastro prima che l’IA faccia mai una domanda. L’IA recupera da cifre verificate, non da qualunque sistema abbia risposto per primo. Approfondiamo questo aspetto in perché i dati riconciliati sono la vera chiave.
• Calcola in modo deterministico, sugli input giusti. Sì, usa un motore deterministico. Ma puntalo su numeri riconciliati, correttamente interpretati, allineati per periodo, con localizzazione e scala risolte a monte. L’esattezza del motore aiuta solo se gli input sono corretti.
• Traccia ogni cifra fino alla fonte. Ogni numero riportato dall’IA dovrebbe portare la sua provenienza: il record sorgente, il percorso di calcolo, il periodo, la versione. Questo è ciò che trasforma una risposta in qualcosa che puoi difendere.

Questa è la divisione neuro-simbolica fatta correttamente. L’LLM fa ciò in cui è bravo: capire la domanda, scegliere il metodo, spiegare il risultato in linguaggio semplice. Il motore deterministico fa la matematica. E un modello sottostante riconciliato e tracciabile nella provenienza garantisce che la matematica avvenga su numeri che sono davvero tuoi. Puoi vedere come funziona il motore deterministico e come si connette ai tuoi sistemi esistenti senza doverli ridigitare.

Un code interpreter è necessario. È lontanissimo dall’essere sufficiente. Le aziende che si scottano sono quelle che hanno visto l’aritmetica risolta e hanno dato per scontato che il problema di fiducia fosse risolto insieme ad essa.

Se vuoi che l’IA tocchi i tuoi numeri reali, parti dal livello che il code interpreter salta. Prenota una demo e ti mostreremo una cifra ripercorsa da un output pronto per il board fino alla scrittura contabile da cui è nata.