الذكاء الاصطناعي أصاب في الأرقام وأخطأ في الحساب: فئة الهلوسة المالية الخفية

طلب أحد قادة الإدارة المالية من مساعد ذكاء اصطناعي حساب التغير في هامش التشغيل بين ربعين. أورد النموذج كلا الرقمين بدقة: 18.2% في الربع السابق، و14.9% في هذا الربع. وكلا الرقمين متطابق مع البيانات المالية المُفصح عنها. ثم وصف التغير بأنه “انخفاض بنسبة 3.3%”. لكنه ليس كذلك. فقد تراجع الهامش بمقدار 3.3 نقطة مئوية، وهو ما يعادل تراجعاً نسبياً قدره 18%. حقيقتان مختلفتان، إحداهما خاطئة، والخاطئة هي التي ستُدرَج في عرض مجلس الإدارة.

هذه هي فئة الأخطاء التي لا يكاد أحد يفحصها. فحين يقلق الفرق من أن يختلق الذكاء الاصطناعي معلوماتٍ، يتصورون إيراداً مُلفّقاً أو مرجعاً مُختلقاً. وهذا يحدث فعلاً، ويسهل اكتشافه لأن الرقم ببساطة غير موجود في المصدر. أما الإخفاق الأكثر خفاءً فمختلف: كل المدخلات صحيحة، والإجابة خاطئة، ولا شيء في الناتج يثير الريبة. النموذج استرجع البيانات بدقة، لكنه استدلّ استدلالاً رديئاً.

مدخلات صحيحة، حسابات خاطئة

تستقر معايير الأداء الحديثة في الإجابة عن الأسئلة المالية على التقسيم نفسه باستمرار. ففي أحد تحليلات إخفاقات النماذج، شكّلت أخطاء الحساب وأخطاء التقريب أو الدقة نحو الثلث لكل منها من إجمالي الإجابات الخاطئة، أي ما يزيد مجتمعةً عن ثلثي الإجمالي (arXiv، تقييم بأسلوب FinanceQA). وعزت دراسة منفصلة للنماذج متعددة الوسائط في المهام المالية نحو 42% من الإخفاقات تحديداً إلى أخطاء الحساب والاستدلال لا إلى الاسترجاع (arXiv، معيار FAITH). والنمط ثابت: يجد النموذج الخلايا الصحيحة، ثم يتعثر فيما يفعله بها.

تتكرر بضعة أشكال من الأخطاء مراراً في العمل المالي:

• التغير المطلق مقابل التغير النسبي. الخلط بين تحرّكٍ بالنقاط المئوية وتغيرٍ نسبيٍ بالنسبة المئوية، وهو تماماً مثال الهامش أعلاه.
• عكس النسبة. الإبلاغ عن نسبة الدين إلى حقوق الملكية بينما يسأل السؤال عن نسبة حقوق الملكية إلى الدين، أو قلب البسط والمقام في نسبة تغطية. كلا الرقمين حقيقي؛ لكن العلاقة معكوسة.
• إشارة خاطئة في التدفقات النقدية. معاملة استخدامٍ للنقد على أنه مصدرٌ له، أو مقاصّة تدفقٍ تمويليٍ داخلٍ مقابل تدفقٍ تشغيليٍ خارجٍ بحيث ينقلب اتجاه التدفق النقدي الحر.
• انحراف الوحدات والمقياس. خلط الآلاف بالملايين، أو إدخال رقمٍ مذكورٍ بنقاط الأساس في حسابٍ يتوقع قيمةً عشرية.

لا يثير أيٌّ من هذه فحصَ الاسترجاع. فأرقام المصدر موجودة وصحيحة. وهذا ما يجعل هذه الفئة خطيرة. فحدسك، وحدس مراجعك، يدفعكما إلى التحقق العيّني مما إذا كان الذكاء الاصطناعي قد أصاب في الأرقام. وقد أصاب. أما الخلل فيقع على مستوىً أعمق.

لماذا يقع النموذج اللغوي في هذا

من المفيد فهم الآلية بدلاً من معاملة الأمر كتقلّبٍ عشوائي. فالنموذج اللغوي لا يحسب، بل يتنبأ بالرمز التالي اعتماداً على أنماطٍ إحصائيةٍ في النص. وتُحوَّل الأرقام إلى رموزٍ لأغراض اللغة لا للرياضيات، وكثيراً ما يُقسَّم الرقم الواحد على عدة رموز، فلا يتعامل النموذج البتة مع البنية الرياضية للتعبير (arXiv، الترميز والحساب). كما تعلّم أن “التغير من 18.2 إلى 14.9” كثيراً ما تتبعه صياغةٌ مثل “انخفاض بنسبة 3.3%”، لأن هذه الصياغة شائعة في النصوص، حتى وإن كانت غير دقيقة. فالنموذج يستنسخ طريقة حديث الناس عن الحساب، لا يؤدي الحساب نفسه.

ليست لديه مسوّدة عمل ملزمٌ باحترامها، ولا حالة وسيطة مطلوبٌ منه الحفاظ عليها بين الخطوات، ولا فحص داخلي يتحقق من أن النسبة خرجت في اتجاهها الصحيح. وقد قاس الباحثون مدى هشاشة هذا: فتغييرات طفيفة في صياغة المسألة قد تُرجِّح الدقة بعشرات النقاط المئوية في أيٍّ من الاتجاهين، وهي فجوة متانةٍ وُثّقت مراراً عبر معايير قياس الاستدلال الحسابي. عمليةٌ بهذه الهشاشة مقبولةٌ لصياغة جملة، لكنها غير مقبولةٍ لحساب شرطٍ تعاقدي.

وإنصافاً لحدود هذا القلق: تحسّنت النماذج المتقدمة كثيراً، وعلى بعض معايير هلوسة البيانات المالية المنسّقة تتجاوز أقوى النماذج الآن دقةً قدرها 90% فأكثر. لكن عبارة “الحساب صحيح في 90% من الحالات” وصفٌ لمشكلة، لا مدعاةٌ للطمأنينة، حين يغذّي الناتج قراراتٍ وتكون الإخفاقات غير مرئية في قراءةٍ سريعة. فمعدل خطأٍ بنسبة 9% لا تستطيع رؤيته أسوأ من معدلٍ بنسبة 20% تراه بوضوح.

الحل بنيوي، لا مجرد صياغة أفضل

لا يمكنك أن تتفادى هذا عبر الصياغة بموثوقية. فمطالبة النموذج بأن “يُظهِر خطوات عمله” أو “يتحقق من الحساب مرتين” تقلّل المعدل لكنها لا تلغيه، لأن المُتحقِّق هو الآلية المعيبة نفسها التي أنتجت الخطأ. والسبيل الوحيد لإزالة فئةٍ كاملةٍ من الأخطاء الحسابية هو الكفّ تماماً عن السماح للنموذج اللغوي بإجراء الحساب.

هذا هو مبدأ التصميم وراء Rexfin. نحن نفصل بين المهمتين اللتين تدمجهما الأدوات الحالية في مهمةٍ واحدة. فالنموذج اللغوي بارعٌ في فهم القصد، والعثور على الأرقام ذات الصلة، وشرح النتائج بلغةٍ مبسّطة. فنتركه يفعل ذلك بالضبط، لا أكثر. أما الحساب الفعلي، كل نسبة، وكل تغيرٍ من فترةٍ لأخرى، وكل إشارة تدفقٍ نقدي، فيجري عبر محرك حساب حتمي يُنفّذ صيغاً محددة بالطريقة نفسها في كل مرة. فالنقاط المئوية والتغير النسبي عمليتان مختلفتان لدى المحرك، لا صياغتان قد يخلط بينهما. والنسبة تُعرَّف مرةً واحدة، ببسطٍ ومقامٍ ثابتين، فلا يمكن أن تنعكس.

وينجح هذا لأن الأرقام لا تأتي من نصٍ حرٍ أصلاً. فـRexfin يتصل بمصادر محاسبتك وبياناتك المالية، أو بالقوائم المرفوعة، ويبني نموذجاً مالياً واحداً مُسوّى يتطابق مع دفتر الأستاذ. يسترجع الذكاء الاصطناعي من مصدر الحقيقة الواحد هذا، ويحسب المحرك، ويتتبّع كل ناتجٍ مساره عودةً إلى الرقم والصيغة اللذين أنتجاه. وحين يظهر رقمٌ أمامك، يمكنك أن ترى مصدره وكيفية اشتقاقه معاً.

ماذا تفعل بهذا

كفّ عن التحقق من ناتج الذكاء الاصطناعي المالي بفحص ما إذا كانت أرقام المصدر صحيحة فقط. فهي صحيحة في الغالب. وهذا الفحص ينجح بينما تمرّ من تحته نسبةٌ معكوسةٌ أو خطأ النقاط مقابل النسبة دون أن يُلحظ. وإن أردت فحصاً عملياً، فإن قائمة التحقق من أرقام الذكاء الاصطناعي لعروض مجلس الإدارة تغطّي ما ينبغي البحث عنه، وإن كنت تقيّم أداةً ما، فإن بناء مجموعة بيانات مرجعية من حساباتٍ معلومة الإجابة سيكشف هذا النمط من الإخفاق تحديداً قبل أن يصل إلى عميل.

والنقطة الأشمل: الأداة التي تسلّم الحساب إلى النموذج تطلب منك أن تثق بعمليةٍ لم تُبنَ قط للحساب. والسؤال الأفضل الذي ينبغي طرحه على أي مزوّد ذكاء اصطناعي مالي بسيط. أين يجري الحساب فعلاً؟ فإن كانت الإجابة “داخل النموذج اللغوي”، فأنت تعرف بالفعل حجم المخاطرة التي تتحمّلها. وإن أردت أن ترى كيف يبدو الأمر حين تكون الإجابة “محرك حتمي يتطابق مع دفتر أستاذك”، احجز عرضاً توضيحياً.