Perché l'IA legge male il vostro 10-K: il problema dei PDF e delle immagini dietro le allucinazioni finanziarie

Date a un modello capace un rendiconto finanziario pulito e leggibile dalla macchina e vi rileggerà i numeri correttamente quasi sempre. Dategli lo screenshot dello stesso rendiconto, o un PDF scansionato che qualcuno ha inviato via fax nel 2014, e lo stesso modello inizia a inventare. Un 4 diventa un 9. Una cifra nella colonna “anno precedente” viene riportata come anno corrente. Un subtotale in una cella unita migra nella riga sbagliata. Il testo non è cambiato. I pixel sì. E questo basta a compromettere la risposta.

Questa è la parte dell’allucinazione finanziaria dell’IA che il prompt engineering non può toccare, perché il danno avviene prima che il modello ragioni su qualsiasi cosa. Avviene nel momento in cui il documento diventa token.

L’accuratezza non degrada in modo graduale, precipita

C’è un’ipotesi rassicurante secondo cui l’input a immagine è “un po’ peggiore” del testo. I benchmark non supportano questa rassicurazione. Su moduli e corrispondenza puliti, i modelli visione-linguaggio leggono con un’accuratezza del 95-98%. Puntate gli stessi modelli su documenti finanziari densi, le tabelle multicolonna, con celle unite e piene di note a piè di pagina che compongono un vero 10-K, e l’accuratezza riportata in produzione scende nell’intervallo 75-80%. Quando la compressione dell’immagine diventa aggressiva, è stata misurata un’accuratezza che scende verso il 60%. L’interpretazione dei grafici è ancora peggiore: gli studi collocano l’accuratezza dei modelli nella lettura dei valori dai grafici tra circa il 34% e il 62%, a seconda del grafico e del modello.

Detto senza mezzi termini, lo stesso sistema che sembra affidabile su un CSV ordinato opera con un’affidabilità vicina al lancio di una moneta su un grafico finanziario dentro un PDF. È un’oscillazione di quindici-venti punti percentuali e oltre nell’accuratezza, dovuta unicamente al formato in cui è arrivato il documento. Per la maggior parte dei flussi di lavoro questo divario è invisibile, finché non lo è più, e un numero letto male è già a tre slide di profondità in un board deck.

Perché la finanza è specificamente il caso difficile? Tre ragioni strutturali:

• Le tabelle sono l’elemento con le prestazioni peggiori in ogni benchmark. Le estensioni multicolonna, le celle unite e le gerarchie annidate rompono le ipotesi che OCR e modelli visione fanno sull’ordine di lettura. I ricercatori segnalano costantemente le tabelle dense, gerarchiche e multi-pagina come la zona di fallimento.
• Gli errori sono plausibili. Una cifra letta male produce un numero che sembra un numero vero. Non c’è alcuna sottolineatura rossa, nessuna eccezione sollevata. Scorre a valle apparendo esattamente come un valore corretto.
• La finanza non perdona quale cifra è sbagliata. In un testo discorsivo, un errore di estrazione dell’1% è rumore di fondo. In un bilancio, la cifra sbagliata nella cella sbagliata è la differenza tra una violazione di un covenant e un trimestre pulito.

”Usate semplicemente un modello migliore” è l’istinto sbagliato

Ogni sei mesi un nuovo modello dichiara di aver risolto la comprensione dei documenti, e i numeri dei benchmark in vetrina sono genuinamente impressionanti: 97% su un set curato. La trappola è il divario tra quel benchmark e il vostro archivio reale. Analisi indipendenti collocano il degrado in produzione al 15-25% rispetto alle condizioni di benchmark, con il disallineamento delle tabelle da solo responsabile di circa il 30% dei fallimenti in produzione.

Quindi potete inseguire il modello più avanzato. Otterrete qualche punto in più. Non otterrete tracciabilità, e non otterrete la garanzia che la cifra che il modello ha “letto” sia la cifra sulla pagina. Il modello vi dà una risposta sicura in ogni caso. La sicurezza non equivale alla correttezza, e su un’immagine scansionata non avete un modo economico per distinguere le due cose nel momento in cui conta.

La versione onesta di questo: i modelli migliori aiutano. Non chiudono il divario, perché il divario non riguarda davvero il ragionamento. Riguarda una traduzione con perdita di informazione dai pixel ai numeri che nessuno ha verificato rispetto a una fonte di verità.

La soluzione è uno strato, non un prompt

Se il fallimento avviene all’estrazione, la soluzione appartiene all’estrazione. Questo significa trattare il documento non come qualcosa che l’LLM osserva di sfuggita, ma come qualcosa che viene analizzato, strutturato e riconciliato prima che qualsiasi IA sia autorizzata a ragionarci sopra.

Concretamente, questo assomiglia a una pipeline piuttosto che a una singola chiamata:

1. Estrazione strutturata. L’analisi specializzata delle tabelle e del layout estrae le cifre in celle con coordinate note, non il miglior tentativo di un modello di indovinare l’ordine di lettura. Ogni valore estratto mantiene un puntatore al punto della pagina da cui proviene.
2. Riconciliazione rispetto al libro mastro. Le cifre estratte dai rendiconti vengono quadrate. Le voci di dettaglio sommano ai subtotali? Lo stato patrimoniale è in pareggio? I ricavi estratti corrispondono a quanto riporta il sistema contabile? Un 4 scansionato e letto come 9 fallisce l’aritmetica nel momento in cui viene verificato rispetto al resto del rendiconto. La lettura errata emerge come errore di quadratura invece che come risposta sbagliata data con sicurezza.
3. Un unico modello riconciliato come fonte di verità. Invece che l’IA rilegga il PDF ogni volta che le viene posta una domanda, interroga un unico modello finanziario che già quadra con il libro mastro. I pixel sono stati letti una volta, verificati una volta, e bloccati.
4. Calcolo deterministico sopra tutto. Quando l’IA ha bisogno di un rapporto o di un tasso di crescita, l’aritmetica viene eseguita da un motore di calcolo, non dal modello linguistico. L’LLM decide cosa calcolare e spiega il risultato; non fa mai i conti su un numero che ha ricavato a occhio da un’immagine.

Questa è l’architettura su cui è costruito Rexfin. Ci connettiamo a piattaforme contabili e di dati finanziari, come QuickBooks, Xero, NetSuite, Sage, SAP, Oracle, data warehouse, o a rendiconti caricati manualmente, e costruiamo un unico modello finanziario riconciliato che quadra con il libro mastro. L’IA recupera le cifre da quel modello ed esegue i calcoli tramite un motore deterministico, così una risposta si ricollega a una fonte che si può verificare, non a una cifra che un modello visivo pensava di aver visto.

Il punto non è che l’OCR sia inutile. È che l’output OCR deve essere trattato come un’affermazione da verificare, non come un fatto da fidarsi ciecamente. La riconciliazione è il passaggio di verifica che l’approccio basato solo sul prompt salta completamente.

Cosa significa questo per un team finance

Se state valutando uno strumento IA per la finanza, la domanda da porre non è “che modello usate.” È “cosa succede tra il PDF e la risposta.” Uno strumento che passa un’immagine del documento direttamente a un LLM e restituisce un numero vi sta consegnando quel 75-80% di accuratezza sulle tabelle senza alcun modo per intercettare gli errori. Uno strumento che estrae, riconcilia e quadra con il libro mastro vi sta consegnando un numero che, se sbagliato, ha fallito rumorosamente.

Per uno sguardo più approfondito ai fallimenti che sopravvivono anche quando l’estrazione è perfetta, consultate il nostro articolo gemello su l’IA che prende i numeri giusti e sbaglia la matematica. E prima che qualsiasi cifra generata dall’IA raggiunga il management, fatela passare attraverso la nostra checklist di verifica per i team finance. Entrambi rientrano nel nostro lavoro più ampio sulle allucinazioni dell’IA nei dati finanziari.

La conclusione è ristretta e conta: le allucinazioni finanziarie più pericolose non nascono da un modello che ragiona male. Nascono da un modello che legge male, su un documento che nessuno ha riconciliato. Sistemate la lettura, riconciliate il risultato, e l’allucinazione non ha più dove nascondersi.

Se volete vedere l’estrazione più riconciliazione all’opera sui vostri stessi bilanci, prenotate una demo e portate il vostro PDF scansionato più disordinato.