لماذا يخطئ الذكاء الاصطناعي في قراءة تقرير 10-K: مشكلة ملفات PDF والصور وراء هلوسات البيانات المالية

سلِّم نموذجاً قادراً قائمةَ تدفقات نقدية نظيفة وقابلة للقراءة آلياً، وسيعيد إليك قراءة الأرقام بدقة في كل مرة تقريباً. سلِّمه لقطة شاشة للقائمة نفسها، أو ملف PDF ممسوحاً ضوئياً أرسله أحدهم بالفاكس عام 2014، وسيبدأ النموذج نفسه في الاختلاق. يتحوّل الرقم 4 إلى 9. ويُذكَر رقم من عمود “السنة السابقة” على أنه رقم العام الحالي. وينتقل مجموع جزئي في خلية مدمجة إلى الصف الخطأ. لم يتغيّر النص، بل تغيّرت وحدات البكسل. وهذا وحده كافٍ لإفساد الإجابة.

هذا هو الجزء من هلوسة الذكاء الاصطناعي المالي الذي لا تطاله هندسة الأوامر، لأن الضرر يقع قبل أن يبدأ النموذج التفكير في أي شيء. يقع في اللحظة التي يتحوّل فيها المستند إلى رموز (tokens).

الدقة لا تتراجع تدريجياً، بل تسقط من حافة هاوية

ثمة افتراض مريح بأن الإدخال على هيئة صورة “أسوأ قليلاً” من النص. لكن المعايير القياسية لا تدعم هذا الافتراض المريح. على النماذج والمراسلات النظيفة، تقرأ نماذج الرؤية واللغة بدقة تتراوح بين 95% و98%. وجِّه النماذج نفسها نحو مستندات مالية كثيفة، أي تلك الجداول متعددة الأعمدة والخلايا المدمجة والمثقلة بالحواشي التي يتكوّن منها تقرير 10-K حقيقي، فتهبط الدقة الإنتاجية المُبلَّغ عنها إلى نطاق يتراوح بين 75% و80%. وحين يشتد ضغط الصورة (الضغط)، قِيست الدقة وهي تتدهور نحو 60%. أما تفسير الرسوم البيانية فأسوأ من ذلك: تضع الدراسات دقة النماذج في قراءة القيم من الرسوم البيانية بين نحو 34% و62% تقريباً، تبعاً للرسم والنموذج.

بعبارة صريحة: النظام نفسه الذي يبدو موثوقاً مع ملف CSV مرتّب يعمل بموثوقية أقرب إلى رمي عملة عند قراءة رسم بياني مالي داخل ملف PDF. هذا تأرجح يتراوح بين خمس عشرة ونيّف وعشرين نقطة في الدقة، مردُّه فقط الطريقة التي وصل بها المستند. وفي معظم مسارات العمل تكون هذه الفجوة غير مرئية، إلى أن يأتي الربع الذي تصبح فيه مرئية، ويكون رقم مقروء خطأً قد دخل أصلاً إلى الشريحة الثالثة في عرض تقديمي أمام مجلس الإدارة.

ولماذا يُعدّ القطاع المالي تحديداً هو الحالة الصعبة؟ لثلاثة أسباب بنيوية:

• الجداول هي العنصر الأسوأ أداءً في كل معيار قياسي. فالامتدادات متعددة الأعمدة والخلايا المدمجة والتسلسلات الهرمية المتداخلة تنسف الافتراضات التي تبني عليها أنظمة التعرف الضوئي على الحروف ونماذج الرؤية ترتيبَ القراءة. ويشير الباحثون باستمرار إلى الجداول الكثيفة والهرمية الممتدة عبر صفحات متعددة بوصفها منطقة الفشل.
• الأخطاء معقولة الظاهر. فالرقم المقروء خطأً يُنتج عدداً يبدو كأنه عدد حقيقي. لا خط أحمر متعرّج، ولا استثناء يُطلَق. ينساب الرقم إلى المراحل اللاحقة وهو يبدو تماماً كقيمة صحيحة.
• القطاع المالي لا يتسامح إزاء أي رقم يكون خاطئاً. ففي النص العادي، نسبة خطأ استخراج تبلغ 1% مجرد ضوضاء. أما في القائمة المالية، فالرقم الخطأ في الخلية الخطأ هو الفارق بين الإخلال بأحد التعهّدات المالية وبين ربع نظيف.

”اكتفِ باستخدام نموذج أفضل” غريزة خاطئة

كل ستة أشهر يدّعي نموذج جديد أنه حلّ مشكلة فهم المستندات، وأرقام المعايير القياسية في العناوين تبدو فعلاً مبهرة، 97% على مجموعة منتقاة. لكن الفخّ يكمن في الفجوة بين ذلك المعيار وبين خزانة ملفاتك الواقعية. وتضع التقارير المستقلة تدهور الأداء الإنتاجي عند 15% إلى 25% مقارنةً بظروف المعيار القياسي، مع كون اختلال محاذاة الجداول وحده مسؤولاً عن نحو 30% من حالات الفشل الإنتاجي.

إذاً بإمكانك مطاردة النموذج الأحدث في الصدارة. ستكسب بضع نقاط. لكنك لن تحصل على قابلية للتدقيق، ولن تحصل على ضمان بأن الرقم الذي “قرأه” النموذج هو الرقم الموجود على الصفحة. فالنموذج يمنحك إجابة واثقة في الحالتين. والثقة ليست هي الصحة، وعلى صورة ممسوحة ضوئياً لا تملك وسيلة سهلة للتمييز بينهما في اللحظة التي يهمّ فيها ذلك.

والصيغة الصادقة لهذا الأمر: النماذج الأفضل تساعد. لكنها لا تردم الفجوة، لأن الفجوة ليست في حقيقتها مسألة استدلال، بل هي ترجمة مفقودة المعلومات من وحدات البكسل إلى الأرقام لم يتحقق أحد من صحتها مقابل مصدر للحقيقة.

الحل طبقة، لا أمر نصّي

إذا كان الفشل يقع عند الاستخراج، فالحل ينتمي إلى الاستخراج. وهذا يعني التعامل مع المستند لا بوصفه شيئاً يلقي عليه النموذج نظرة عابرة، بل بوصفه شيئاً يُحلَّل ويُنظَّم ويُطابَق قبل أن يُسمَح لأي ذكاء اصطناعي بالاستدلال عليه.

عملياً، يبدو هذا كخطّ معالجة لا كاستدعاء واحد:

1. الاستخراج المنظَّم. يستخلص التحليل المتخصص للجداول وتحليل التخطيط الأرقامَ إلى خلايا ذات إحداثيات معلومة، لا بوصفها أفضل تخمين للنموذج لترتيب القراءة. وتحتفظ كل قيمة مستخرَجة بمؤشّر يعيدها إلى موضعها على الصفحة الذي جاءت منه.
2. المطابقة مع دفتر الأستاذ. تُرابَط أرقام القوائم المستخرَجة. هل تتجمّع البنود لتساوي المجاميع الجزئية؟ هل تتوازن الميزانية العمومية؟ هل تطابق الإيرادات المستخرَجة ما يُبلِّغ عنه النظام المحاسبي؟ إن الرقم 4 الممسوح ضوئياً والمقروء على أنه 9 يفشل في الحساب لحظةَ مقارنته ببقية القائمة. فيظهر الخطأ في القراءة بوصفه خطأ مطابقة، بدلاً من إجابة خاطئة واثقة.
3. نموذج واحد مُطابَق بوصفه مصدراً للحقيقة. فبدلاً من أن يعيد الذكاء الاصطناعي قراءة ملف PDF في كل مرة يُسأل فيها سؤالاً، يستعلم من نموذج مالي واحد سبق له أن طابق دفتر الأستاذ. قُرئت وحدات البكسل مرة واحدة، وفُحصت مرة واحدة، وأُقفِلت.
4. حساب حتمي فوق ذلك. حين يحتاج الذكاء الاصطناعي إلى نسبة أو معدّل نمو، تجري العمليات الحسابية عبر محرّك حساب، لا عبر نموذج اللغة. فنموذج اللغة يقرّر ما يُحسب ويشرح النتيجة؛ لكنه لا يجري قط العملية الحسابية على رقم رمقه بعينه من صورة.

هذه هي البنية التي بُني عليها Rexfin. نحن نتصل بمنصات المحاسبة والبيانات المالية، مثل QuickBooks وXero وNetSuite وSage وSAP وOracle ومستودعات البيانات، أو بالقوائم المرفوعة، ونبني نموذجاً مالياً واحداً مُطابَقاً يتسق مع دفتر الأستاذ. ويسترجع الذكاء الاصطناعي الأرقام من ذلك النموذج ويُجري الحسابات عبر محرّك حتمي، فتعود أي إجابة في أصلها إلى مصدر يمكنك تدقيقه، لا إلى رقم ظنّ نموذج رؤية أنه رآه.

النقطة ليست أن التعرف الضوئي على الحروف عديم الفائدة، بل أن مُخرجاته يجب أن تُعامَل بوصفها ادّعاءً يحتاج إلى تحقّق، لا حقيقةً تُؤخذ على عواهنها. والمطابقة هي خطوة التحقّق التي يتخطّاها كلياً النهجُ القائم على الأمر النصّي وحده.

ماذا يعني هذا لفريق مالي

إن كنت تقيّم أداة ذكاء اصطناعي مالية، فالسؤال الذي ينبغي طرحه ليس “ما النموذج الذي تستخدمونه”، بل “ماذا يحدث بين ملف PDF والإجابة.” فالأداة التي تمرّر صورة مستند مباشرةً إلى نموذج لغة وتعيد رقماً إنما تسلّمك تلك الدقة البالغة 75% إلى 80% في الجداول دون أي وسيلة لالتقاط الأخطاء. أما الأداة التي تستخرج وتطابق وتتسق مع دفتر الأستاذ فتسلّمك رقماً يفشل بصوت مسموع إن كان خاطئاً.

ولنظرة أعمق إلى الأخطاء التي تبقى حتى حين يكون الاستخراج مثالياً، راجع مقالنا المرافق عن حين يصيب الذكاء الاصطناعي الأرقام ويخطئ في الحساب. وقبل أن يصل أي رقم من الذكاء الاصطناعي إلى القيادة، مرّره عبر قائمة التحقق الخاصة بالفرق المالية. وكلاهما يندرج ضمن عملنا الأوسع حول هلوسات الذكاء الاصطناعي في البيانات المالية.

الخلاصة ضيّقة لكنها مهمّة: أخطر الهلوسات المالية لا تأتي من سوء استدلال النموذج، بل من سوء قراءته، على مستند لم يطابقه أحد. أصلِح القراءة، وطابِق النتيجة، فلا يبقى للهلوسة موضع تختبئ فيه.

إن أردت أن ترى الاستخراج مقروناً بالمطابقة وهو يعمل على ملفّاتك أنت، احجز عرضاً توضيحياً وأحضِر أكثر ملفات PDF الممسوحة ضوئياً فوضوية لديك.