كيف تقيّم وكيل الذكاء الاصطناعي المالي: ابنِ بطاقة قياس الدقة قبل أن تثق بالأرقام

يدخل أحد المورّدين قاعة الاجتماعات، ويكتب في نافذة محادثة أنيقة: “كم بلغ هامش الربح الإجمالي في الربع الماضي ولماذا تحرّك؟”، فتظهر الإجابة خلال أربع ثوانٍ في فقرة واثقة مصحوبة برسم بياني. تومئ القاعة بالموافقة، ويقول أحدهم: “أطلِقوه.”

ذلك العرض أثبت شيئاً واحداً فقط: أن الوكيل قادر على إنتاج إجابة تبدو معقولة لسؤالٍ اختاره المورّد، على بياناتٍ هيّأها المورّد، دون أي وسيلة لديك للتحقّق من صحة الرقم. إنه مجرد مسرحية. والفجوة بين “يبدو صحيحاً” و”هو صحيح” هي حيث تنتهي المسيرات المهنية.

الأرقام المرجعية المزعجة تؤكد هذا. في FinanceBench، وهي مجموعة اختبارات من ثلاثيات السؤال والإجابة والدليل المستخلصة من إيداعات حقيقية لدى هيئة الأوراق المالية الأمريكية (SEC)، أجابت النماذج بشكل صحيح عن نحو 47% فقط من الأسئلة الواقعية، وأخطأت تماماً في 26%، وأخفقت أو امتنعت عن الإجابة في الباقي. وفي إحدى التهيئات الشائع الاستشهاد بها لنموذج GPT-4-Turbo مع الاسترجاع، أخطأ أو تهرّب من الإجابة في نحو 81% من الأسئلة. هذه ليست مهام تافهة، بل هي من نوع العمل الذي يؤدّيه الفريق المالي كل يوم: “اقرأ الإيداع، وجِد الرقم، واستنتج منه.”

لذا، قبل أن يلمس أي وكيل تقاريرك، أنت بحاجة إلى اختبارك الخاص. لا اختبار المورّد، بل اختبارك أنت.

لماذا يُعدّ سؤال العرض الواحد وحدة قياس خاطئة

المشكلة الأعمق أن إجابة صحيحة واحدة لا تخبرك بشيء عن الإجابة التالية. نماذج اللغة الكبيرة احتمالية بطبيعتها. اطرح السؤال نفسه مرتين فقد تحصل على رقمين مختلفين، حتى مع تثبيت درجة الحرارة عند الصفر، بسبب تقريب الفاصلة العائمة، وسلوك أنوية المعالجات الرسومية (GPU)، وتأثيرات حجم الدُّفعة التي لا تتحكّم بها. وقد قاست الأبحاث المنشورة حول انحراف المخرجات في سير العمل المالي تذبذبات في الدقة تصل إلى 15% عبر تشغيلات متطابقة، مع فجوات بين الأفضل والأسوأ أوسع من ذلك بكثير.

بالنسبة للمدير المالي، هذا هو جوهر اللعبة بأكمله. الأداة التي تصيب 90% من الوقت ليست أداة تخطئ في 10% بطريقة يمكنك التخطيط حولها، بل هي أداة تخطئ في 10% مختلفة وغير متوقّعة في كل مرة تشغّلها فيها. لا يمكنك أن توقّع على عرض تقديمي لمجلس الإدارة بناءً على ذلك، ولا أن تضعه أمام مدقّق حسابات.

بطاقة قياس الدقة موجودة لتحويل “بدا صحيحاً في العرض” إلى رقم يمكنك الدفاع عنه: نسبة نجاح مقيسة، مقابل إجابات معلومة الصحة، يمكنك إعادة تشغيلها عند الطلب.

الأمور الثلاثة التي يجب أن تقيسها بطاقة القياس

معظم جهود التقييم تقيس شيئاً واحداً (هل أصاب الإجابة؟) ثم تتوقّف. هذا لا يكفي في المالية. أنت بحاجة إلى ثلاثة أبعاد، لأن الوكيل يمكن أن يخفق بثلاث طرق مستقلة.

الدقة على مستوى الحقل. هل يطابق الرقمُ الحقيقةَ المطابَقة، إلى آخر هللة أو إلى التقريب الصحيح؟ لا “هل الإجابة في المجال الصحيح تقريباً”. إيراد قدره 48.2 مليون دولار بينما يقول دفتر الأستاذ 48.7 مليون دولار ليس خطأً قريباً من الصواب، بل هو خطأ. قيّم كل رقم بنجاح أو إخفاق قاطع مقابل قيمة معلومة.

اتساق الإجابة. اطرح السؤال نفسه خمس مرات، في خمس تشغيلات منفصلة، ويُفضّل في أيام مختلفة. هل تحصل على الرقم نفسه في كل مرة؟ التضارب وضعُ إخفاق قائم بذاته، منفصل عن الدقة. الوكيل الذي يكون صحيحاً في التشغيلة الأولى ثم ينحرف بصمت في الرابعة أخطرُ من وكيل خاطئ بشكل موثوق، لأن الخاطئ كنتَ ستكتشفه.

قابلية التتبّع. بالنسبة لكل رقم، هل يستطيع الوكيل أن يبيّن من أين جاء (أي حساب، وأي فترة، وأي سجل مصدري) بحيث يستطيع إنسان أن يعيد تتبّع المسار؟ الإجابة التي لا يمكنك تتبّعها هي إجابة لا يمكنك تدقيقها. وقد تناولنا سبب كون قابلية إعادة التشغيل متطلَّباً صارماً لا ميزة كمالية في مسارات تدقيق تسجّل القرارات، لا مجرد الإجراءات.

لا يمكنك تصحيح اختبار دون مفتاح إجابات

هنا الجزء الذي يتخطّاه الجميع. لقياس الدقة على مستوى الحقل، أنت بحاجة إلى حقيقة مرجعية: مجموعة من الأسئلة المالية التي تعرف إجاباتها الصحيحة سلفاً وتثق بها. وتلك الإجابات يجب أن تأتي من مصدرٍ يتطابق مع دفتر الأستاذ، لا من ذكاء اصطناعي ثانٍ، ولا من ذاكرة المراقب المالي، ولا من العرض التقديمي للربع الماضي.

هنا تنهار معظم مشاريع التقييم بهدوء. تكتشف الفِرق أنها لا تملك في الواقع مصدراً نظيفاً للحقيقة تصحّح مقابله. أرقامها موزّعة على ثلاثة أنظمة تتعارض عند الأطراف، ونصف دزّينة من جداول البيانات، ومصنّف توحيد لا يفهمه إلا شخص واحد. وإذا كانت “إجابتك الصحيحة” نفسها غير مطابَقة، فإن بطاقة قياسك تقيس الوكيل مقابل تخمين.

ولذلك، فإن بناء مفتاح الإجابات هو العمل الحقيقي. اختَر من 50 إلى 100 سؤال تغطّي الأنماط المهمة فعلاً: عمليات بحث نقطية (النقد في نهاية الفترة)، وحسابات (هامش الربح الإجمالي، والتغيّر السنوي، ونسبة تعهّد ائتماني)، ومقارنات عبر الفترات، وعدداً من الأسئلة متعددة الكيانات أو الموحَّدة على الأقل، حيث تحبّ الأخطاء أن تختبئ. ولكل سؤال، ثبّت الإجابة الصحيحة مقابل نموذجك المطابَق. تلك المجموعة هي بياناتك الذهبية، وهي أثمن ما تنتجه هذه العملية. ونتعمّق أكثر في كيفية تجميعها في كيف تختبر أداة ذكاء اصطناعي مالي تحت الضغط.

التشغيل: بطاقة القياس في الممارسة العملية

بمجرد وجود مفتاح الإجابات، تصبح المنظومة آلية. حدّد عتبةً مسبقاً (نحن لن نضع أي شيء دون 95% من الدقة على مستوى الحقل قرب التقارير الخارجية) وصحّح مقابلها.

• نسبة نجاح الدقة. النسبة المئوية للأرقام التي تطابق الحقيقة المرجعية تماماً. أبلِغ عنها حسب نوع السؤال، لا في المجمل فحسب؛ فقد يتفوّق الوكيل في عمليات البحث ويخفق في كل عملية حسابية، والنتيجة المدمَجة تخفي ذلك.
• نسبة الاتساق. النسبة المئوية للأسئلة التي تُرجِع إجابة متطابقة عبر كل التشغيلات المتكرّرة. أي قيمة دون 100% على الأرقام راية حمراء تستحق الفهم قبل أن تمضي قُدماً.
• نسبة قابلية التتبّع. النسبة المئوية للإجابات التي تتضمّن مساراً مصدرياً يستطيع إنسان أن يتتبّعه رجوعاً إلى دفتر الأستاذ.
• الانحراف. أعِد تشغيل بطاقة القياس بالكامل شهرياً. تُحدَّث النماذج بصمت، وتتغيّر بياناتك. والأداة التي نجحت في مارس قد تخفق في يونيو، ولن يخبرك بذلك إلا اختبار دائم.

رأي صريح: إذا قاوم المورّد تشغيل أداته مقابل بياناتك الذهبية، أو أراد أن “يساعدك في إعداد الأسئلة”، فقد عرفتَ ما كنت بحاجة إلى معرفته. فجوهر بطاقة القياس أنه لا يحقّ له اختيار الاختبار.

القيد الذي لا يروّج له أحد

لا شيء من هذا يجدي إذا كان الوكيل يجري العمليات الحسابية بنفسه. نموذج اللغة الكبير الذي يعيد حساب نسبةٍ في كل تشغيلة سينحرف في كل تشغيلة، وهذه ليست مشكلة ضبط، بل هي ما تفعله البنية المعمارية ذاتها. الوكلاء الذين يجتازون اختبار الاتساق هم من يسترجعون الأرقام من نموذج مطابَق واحد، ويمرّرون كل عملية حسابية عبر محرّك حتمي، بحيث تنتج المدخلات المتطابقة مخرجات متطابقة بحكم التصميم. الاستدلال يمكن أن يبقى احتمالياً، أما الحساب فلا يمكن. ذلك الفصل هو كامل أطروحة طبقة الثقة للذكاء الاصطناعي الوكيلي، وهو سبب بنائنا Rexfin بحيث تأتي الأرقام من مصدر حقيقة واحد يتطابق مع دفتر الأستاذ، وتعود الإجابة دائماً لتتبّعه.

بطاقة القياس هي كيف تتوقّف عن الوثوق بالعروض وتبدأ بالوثوق بالأدلة. ابنِ بياناتك الذهبية، وحدّد العتبة، واجعل كل أداة (بما فيها أداتنا) تستحق مكانها مقابل أرقام تعرف سلفاً أنها صحيحة.

إذا أردت أن ترى كيف يبدو وكيل الذكاء الاصطناعي المالي حين يتتبّع كل رقم رجوعاً إلى مصدر مطابَق ويكون الحساب حتمياً لا مخمَّناً، احجز عرضاً توضيحياً واحضِر أسئلتك الخاصة.