Il RAG per la finanza non basta senza un livello di calcolo

Un sistema di retrieval può passare alla tua IA la pagina esatta del 10-Q in cui è riportato il fatturato, la cella esatta dell’export, la riga esatta del libro mastro. E l’IA può comunque dirti il margine lordo sbagliato.

Quel divario è tutto il problema del trattare il RAG come la risposta per la finanza.

Il retrieval-augmented generation si è guadagnato la sua reputazione onestamente. Aggancia una ricerca vettoriale a un modello linguistico, alimentalo con i tuoi documenti, e smette di inventare fatti dal nulla. Per domande come “cosa dice la nostra politica di rimborso” o “riassumi la sezione MD&A,” funziona. Il modello ancora la sua risposta a qualcosa di reale, e di solito puoi cliccare per tornare alla fonte. Per gran parte del lavoro di conoscenza, questo basta.

La finanza non è gran parte del lavoro di conoscenza. La finanza è aritmetica che deve quadrare.

Il retrieval risponde a “dove,” non a “è corretto”

Ecco la distinzione che si perde. Il RAG è molto bravo nella provenienza. Può dirti da dove viene un numero. Non è bravo nel calcolo, perché il calcolo passa comunque attraverso il modello linguistico, e il modello linguistico è un predittore di testo, non un foglio di calcolo.

Quindi ottieni questa strana modalità di fallimento. L’IA recupera la cifra corretta del fatturato. Recupera il costo del venduto corretto. Poi calcola il margine lordo prevedendo quali sono probabilmente i prossimi token, e arriva a un numero che sembra plausibile ed è scostato quanto basta per fare la differenza. Ogni input era corretto. L’output è sbagliato. E poiché gli input erano genuinamente recuperati dai tuoi dati, la risposta arriva avvolta in citazioni che la fanno sembrare affidabile.

Questo è peggio di un errore evidente. Un errore evidente viene notato. Un numero sbagliato citato con sicurezza finisce incollato in una presentazione al board.

I ricercatori che studiano questo fenomeno continuano a sbattere contro lo stesso muro. Fare embedding del testo è facile perché le parole portano significato che i vettori possono catturare. I dati finanziari tabellari sono difficili, perché i numeri in sé portano quasi nessun segnale semantico. Una colonna di cifre è solo una colonna di cifre per un modello di embedding. Un lavoro recente sui benchmark di retrieval testo-e-tabella ha scoperto che anche quando il sistema individuava esattamente le righe giuste, i modelli non riuscivano comunque ad analizzare in modo affidabile la tabella per ricavarne il trend, e gli autori hanno concluso che il compito richiede un vero passaggio computazionale, non un retrieval migliore. (T²-RAGBench lo sostiene direttamente.)

Rileggilo due volte. Un retrieval migliore non risolve la matematica. Il retrieval era già corretto.

Il tetto di accuratezza che nessuno pubblicizza

Il RAG ingenuo sui documenti finanziari tende a stabilizzarsi da qualche parte nell’intervallo 85-92 percento sul question-answering numerico, a seconda di come lo misuri. Sembra rispettabile finché non rifletti su cosa significa.

In finanza, il 92 percento di accuratezza non è un B-plus. Uno studio sull’auditing finanziario lo ha detto senza mezzi termini: un tasso di accuratezza del 99 percento produce zero fiducia operativa se l’un percento di errore è un’inversione di convenzione di segno su uno stato patrimoniale. Un margine che dovrebbe essere positivo torna negativo. Una passività viene letta come un’attività. Il punteggio aggregato sembra ottimo. La risposta specifica è inutilizzabile, e non hai modo di sapere quali risposte sono cadute nella fetta sbagliata.

Il tetto ha cause strutturali, non cause risolvibili con un prompt migliore:

• I numeri non fanno embedding bene. La ricerca semantica recupera ciò che si legge in modo simile, non ciò che si calcola correttamente.
• Il ragionamento multi-passo deriva. Ogni salto aritmetico attraverso il modello è un’altra occasione per arrotondare, trasporre o allucinare un passaggio.
• Nessuna riconciliazione. Il retrieval preleva una cifra da una fonte senza alcun controllo che concordi con la stessa cifra altrove nel libro mastro.
• Ambiguità di locale e formato. 1.250 è mille duecentocinquanta, o uno virgola venticinque? Il modello indovina.

Nessuno di questi problemi si risolve indicizzando più documenti o comprando un modello di base più intelligente. Sono proprietà del chiedere a un predittore di testo di fare contabilità.

Cosa muove davvero il numero

La ricerca che supera il tetto ha una cosa in comune. Smette di chiedere al modello linguistico di fare la matematica.

Due mosse contano. Primo, rendere il retrieval consapevole di metadati e incertezza, così il sistema sa non solo cosa ha trovato ma quanto dovrebbe essere sicuro. Il retrieval bayesiano, consapevole dell’incertezza, applicato al question-answering finanziario ha ridotto le allucinazioni di circa il 28 percento rispetto ai metodi standard, recuperando cifre precise dove il retrieval convenzionale falliva. (Bayesian RAG riporta una riduzione del 27,8 percento.) Gli approcci con citazioni obbligatorie e verifica granulare spingono ulteriormente l’affidabilità scomponendo una risposta in affermazioni atomiche e verificando ciascuna rispetto alla fonte invece di valutare l’intera risposta come un blocco unico.

Secondo, e questa è la parte che la maggior parte dei team salta: instradare il calcolo effettivo verso un motore deterministico. Il modello decide di quali cifre ha bisogno e quale operazione eseguire. Un motore separato, verificabile, esegue l’operazione, su input verificati, allo stesso modo ogni volta. Il modello non somma mai i numeri. Orchestra; non fa aritmetica.

Combina questi due elementi e il quadro cambia. Il retrieval consapevole dei metadati più un livello di calcolo deterministico spinge l’affidabilità oltre il 93 percento e, cosa più importante, rende visibili le risposte sbagliate invece di nasconderle. Quando il motore calcola in modo deterministico su input riconciliati, puoi tracciare qualsiasi output attraverso il calcolo fino alla cifra sorgente nel libro mastro. Il numero non è solo citato. È riproducibile.

Perché il modello riconciliato deve venire prima

C’è un passaggio sotto tutto questo che il retrieval non può fare da solo. Il retrieval preleva un numero. Non verifica che quel numero concordi con se stesso nei tuoi sistemi. La tua piattaforma di fatturazione, il tuo export contabile e il tuo data warehouse possono tutti riportare una cifra di fatturato leggermente diversa per lo stesso mese, e il retrieval consegnerà volentieri all’IA qualunque cifra abbia trovato per prima.

Ecco perché un livello di calcolo deterministico dà i suoi frutti solo se opera su un modello riconciliato, un’unica fonte di verità che quadra con il libro mastro prima che qualsiasi IA la tocchi. Abbiamo argomentato a favore di questa base in Fonte unica di verità: perché i dati riconciliati sono lo sblocco reale per l’IA in finanza. E si accompagna alla questione più fondamentale del perché l’IA sbaglia la matematica finanziaria in primo luogo, che è una proprietà di come questi modelli leggono i numeri in generale.

Questa è l’architettura su cui gira Rexfin. Collega le tue fonti contabili e finanziarie, costruisci un modello riconciliato unico, poi lascia che l’IA recuperi le cifre da esso e calcoli con un motore deterministico invece di fare la matematica da sola. Retrieval per la provenienza. Riconciliazione per la fiducia. Calcolo deterministico per l’aritmetica che quadra. L’argomentazione completa vive nel pillar su il livello di affidabilità per l’IA in finanza.

Il punto chiave

Il RAG ha risolto il problema giusto al livello sbagliato. Ha reso tracciabili le risposte dell’IA, cosa di cui la finanza aveva un disperato bisogno. Ma tracciabile e corretto non sono la stessa cosa, e il retrieval da solo raggiunge il suo limite esattamente dove la finanza può permetterselo di meno. Il fatto che il numero sia citato non rende la matematica corretta. Un motore deterministico che opera su dati riconciliati sì.

Se la tua IA cita le fonti ma non riesci comunque a fidarti delle cifre che calcola, il livello di calcolo è il pezzo che ti manca. Prenota una demo e ti mostreremo la differenza tra un numero citato e un numero che quadra.