لماذا يخطئ الذكاء الاصطناعي في حساب أرقامك
نماذج اللغة الكبيرة تقرأ الأرقام كنصوص وتطابِق الأنماط بدلاً من أن تحسب. إليك مشكلة التجزئة (tokenization) الكامنة وراء ذلك، والحل الوحيد الذي يصمد.
بقلم The Rexfin team
اطلب من نموذج متقدّم أن يضرب عددين أوّليين كبيرين، وراقب ما يحدث. وجد الباحثون أن دقة GPT-4 في مهمة ضرب انهارت تماماً كلما كبرت الأرقام، فهبطت من دقة تكاد تكون كاملة على المعاملات الصغيرة إلى ما يقارب الصفر على المعاملات الأكبر. النموذج نفسه. وبنية الطلب نفسها. الشيء الوحيد الذي تغيّر هو حجم الأرقام.
هذا أمر يجدر بأي مسؤول مالي قِيل له إن مساعداً ذكياً قادر على “التعامل مع الأرقام” أن يقلق منه. فالخلل ليس عشوائياً، بل بنيوي. وله اسم.
النموذج لا يرى رقمك أصلاً
نماذج اللغة الكبيرة لا تعالج النص كما تفعل أنت. فقبل أن يعمل أي وزن واحد، يُقطَّع ما تُدخله إلى وحدات (tokens)، وهي الأجزاء التي يقرأها النموذج فعلاً. مع الكلمات يكون هذا مقبولاً في الغالب، أما مع الأرقام فهو كارثة صامتة.
تبعاً للمُجزِّئ (tokenizer)، قد يتفكك الرقم “1,234,567” إلى “1” و ”,” و “234” و ”,” و “567”، أو إلى أي تجميع اعتباطي آخر. لا يرى النموذج مليوناً ومئتين وأربعة وثلاثين ألفاً وخمسمئة وسبعة وستين. بل يرى سلسلة من الشظايا لا قيمة عددية متأصّلة فيها. لا وجود لخانة المنزلة العشرية. ولا مفهوم لكون الرقم الأيسر يساوي مليون ضعف الرقم الأيمن. ببساطة، البنية الحسابية التي يدركها طفل في العاشرة غائبة تماماً عن هذا التمثيل.
فماذا يفعل النموذج إذن حين تطلب منه أن يجمع أو يضرب أو يحسب هامشاً؟ إنه يتوقّع الوحدة التالية. يطابِق الأنماط مع مليارات السلاسل الرقمية التي رآها أثناء التدريب. فحين يشبه مثالك شيئاً شائعاً، يصمد النمط ويبدو الجواب صحيحاً. وحين لا يشبهه، ينتج النموذج رقماً واثقاً ومعقولاً وخاطئاً.
هذا هو الجزء الذي يجدر به أن يقلق راحتك. فالأمر ليس آلة حاسبة تخطئ أحياناً، بل متنبّئ نصّي يؤدّي دور آلة حاسبة.
”المعقولية” هي المشكلة بأكملها
الآلة الحاسبة المعطّلة تُظهر خطأً، أما نموذج اللغة فيفعل ما هو أسوأ: يعيد رقماً يبدو تماماً كرقم صحيح. رتبة المقدار صحيحة. والصيغة صحيحة. والثقة صحيحة. والقيمة خاطئة.
أظهرت تقييمات مستقلة لنماذج اللغة على مهام الحساب متعدّد الخطوات والمهام الشبيهة بالتسوية مراراً معدّلات إخفاق تقع في نطاق يقارب 40 إلى 50 في المئة على المسائل الحتمية الأصعب، تبعاً لطبيعة المعيار وحجم المعاملات. الرقم الدقيق يتحرّك بحسب الاختبار، أما الاتجاه فلا. ادفع النموذج إلى ما وراء الأنماط التي حفظها، وتتدهور الدقة، وغالباً بحدّة.
في المجال المالي، هذا التدهور ليس فضولاً أكاديمياً. أرقامك كبيرة. وحساباتك متسلسلة، فالإيرادات تغذّي الهامش الإجمالي الذي يغذّي EBITDA الذي يغذّي نسبة تعهّد مالي (covenant). خطأ واحد ناتج عن مطابقة الأنماط في وقت مبكّر ينتشر عبر كل ما يليه، ولأن كل قيمة وسيطة تبدو معقولة، لا يكتشفه أحد إلى أن يحسبه أحد أعضاء مجلس الإدارة يدوياً.
لماذا لن ينقذك “استخدام نموذج أكبر”
الحل البديهي هو انتظار النموذج التالي الأذكى. لكنه لن يحلّ هذا. فالمشكلة ليست في الذكاء، بل في البنية المعمارية. النموذج الأقدر هو مطابِق أنماط أفضل، لكنه لا يزال يطابِق الأنماط. ولا يزال يجزّئ “47,318,902” إلى شظايا بلا معنى. التوسّع في الحجم يجعل المحاكاة أكثر إقناعاً، لا الحساب أكثر صحة.
والأسوأ أن الاتجاه ينقلب أحياناً مع بعض نماذج “الاستدلال”، التي قد تُدخل مواضع إضافية يتسلّل منها الخطأ الواثق عبر سلاسل أطول. خطوات أكثر تعني مساحة أكبر يمكن لقيمة وسيطة خاطئة أن تبدو فيها صحيحة.
إذا أردت أن يكون الرقم صحيحاً، فلا بدّ أن يتوقّف النموذج عن تخمينه.
الحل: توقّف عن مطالبة نموذج اللغة بإجراء الحسابات
البنية المعمارية الموثوقة بسيطة إلى حدّ يكاد يكون مملاً في صياغتها. دع نموذج اللغة يفعل ما يُتقنه حقاً، وهو فهم سؤالك وتفسير المقصود وشرح النتائج، وأوكِل الحساب الفعلي إلى شيء لا يخمّن.
ذلك الشيء هو محرّك حتمي. حساب حقيقي يجريه كود يُنتج الجواب نفسه في كل مرة، استناداً إلى أرقام موثّقة. يسترجع نموذج اللغة المدخلات الصحيحة ويصوغ النتيجة، ولا يلمس الحساب نفسه أبداً.
هذا هو جوهر طريقة عمل Rexfin. نربط بياناتك المحاسبية والمالية، من QuickBooks أو Xero أو NetSuite أو Sage أو مستودع بيانات أو كشوف مرفوعة، ونبني نموذجاً مالياً واحداً مُسوّى يتطابق مع دفتر الأستاذ. وعندما تطرح أنت أو يطرح الذكاء الاصطناعي سؤالاً، تُسترجع الأرقام من ذلك النموذج ويحسبها محرّك حساب حتمي، لا أن تُولَّد وحدةً تلو الأخرى. كل ناتج يُتتبَّع رجوعاً إلى سطر مصدره. يمكنك النقر على رقم لترى بالضبط من أين جاء وكيف اشتُقّ.
ينتج عن هذا التصميم أمران:
- الحساب صحيح لأن الكود أجراه، لا لأن توزيعاً احتمالياً وقع مصادفةً في الموضع الصحيح.
- المدخلات صحيحة لأنها مُسوّاة مع دفاترك قبل أن يراها الذكاء الاصطناعي أصلاً، فلا تحسب بدقّة على بيانات معطوبة.
النقطة الثانية لا تقلّ أهمية عن الأولى. فالآلة الحاسبة المثالية على بيانات غير مُسوّاة لا تزال تعطيك جواباً خاطئاً وإن كان حسن التنسيق. تتطلّب الثقة كلا الشطرين معاً: مدخلات موثّقة وحساب حتمي. هذه هي الحجّة التي تسري عبر هذا المحور بأكمله حول بناء طبقة موثوقة للنمذجة المالية للذكاء الاصطناعي.
ماذا يعني هذا عملياً
تخيّل الفرق. تسأل: “كم كان هامشنا الإجمالي المُجمّع في الربع الماضي، وكيف يتغيّر إذا ارتفعت تكلفة البضاعة المباعة (COGS) بنسبة 6 في المئة؟”
نموذج لغة غير مُؤرَّض يسترجع بعض الأرقام من سياقه، ويحاول حساب النسب في “ذهنه”، ويسلّمك هامشاً. ربما يكون صحيحاً. وليس لديك سبيل لمعرفة ذلك دون إعادة الحساب بنفسك.
أما نظام مُؤرَّض وحتمي فيسحب أرقام الإيرادات وتكلفة البضاعة المباعة المُسوّاة، ويُجري حساب الهامش في الكود، ويطبّق تحوّل الـ 6 في المئة باعتباره سيناريو “ماذا لو” حقيقياً، ويعرض لك النتيجة مع توثيق كل مدخل. أنت لا تثق بحساب الذكاء الاصطناعي، بل بدفتر أستاذك أنت، مع آلة حاسبة مثبّتة فوقه ومسار تدقيق مرفق به.
هذا موقف مختلف تماماً. أحدهما يطلب منك أن تصدّق، والآخر يتيح لك أن تتحقّق.
الحدود الصادقة
لا شيء من هذا يجعل نموذج اللغة نفسه مرجعاً مالياً، ولا ينبغي له أن يتظاهر بذلك. فلا يزال بإمكان النموذج أن يسيء فهم سؤال غامض أو أن يصوغ نتيجة صياغةً رديئة. ما يتغيّر هو أن الأرقام الكامنة تحتها تكفّ عن أن تكون تخميناً. التفسير يمكن مراجعته. أما الحساب، حين يكون حتمياً وقابلاً للتتبّع، فلا حاجة لإعادة اشتقاقه يدوياً.
إذا اكتفيت بإصلاح الحساب وتركت البيانات في فوضاها، فقد حللت نصف المشكلة فقط. ولهذا كثيراً ما تعود مشكلة الـ 95% في تجارب الذكاء الاصطناعي التوليدي إلى جاهزية البيانات، ولهذا لا يكفي حتى مفسّر الكود (code interpreter) وحده، وهي نقطة جديرة بالفهم قبل أن تثق بـ الاسترجاع لتأريض إجاباتك المالية.
الخلاصة صريحة: نموذج لغة يخطئ في أرقامك ليس معطوباً، بل يعمل تماماً كما صُمِّم. والحل ليس مخمِّناً أذكى، بل نظام لا يضطر للتخمين أصلاً.
أتريد أن ترى الحساب الحتمي يجري على أرقامك المُسوّاة أنت؟ احجز عرضاً توضيحياً وأحضِر معك رقماً ضبطت ذكاءً اصطناعياً يخطئ فيه.
جزء من طبقة الموثوقية التي يحتاجها الذكاء الاصطناعي قبل أن يقترب من أرقامك