لا يمكنك التحقق من الأوزان: التحقق المبني على المخرجات لنماذج LLM من المورّدين

اطلب من مورّد نموذج LLM أوزان النموذج، وستتلقى رفضاً مهذباً. اطلب بيانات التدريب وتفاصيل البنية ومجموعة الضبط الدقيق، وستحصل على الجواب نفسه مغلّفاً باتفاقية عدم إفصاح. فالشيء الذي يُفترض بفريق مخاطر النماذج لديك أن يتحقق منه هو، بحكم العقد، صندوق مُغلق. ومع ذلك ينتج النموذج أرقاماً تنتهي في عرض لمجلس الإدارة، وفي مذكرة ائتمانية، وفي إقرار تنظيمي.

هذه هي الفجوة التي تثير قلق مسؤولي التحقق، وهو قلق في محله. فالمنهجية التقليدية (افتح النموذج، تحقق من الحسابات، تأكد من سلامة الافتراضات مفاهيمياً) تفترض أنك تستطيع النظر إلى الداخل. أما مع نموذج LLM متقدم من مورّد، فلا تستطيع. وهكذا يتوقف السؤال عن كونه “هل النموذج صحيح؟” ليصبح “هل يمكنني إثبات صحة المخرجات، بشكل متكرر، من دون النظر إلى الداخل قط؟“

لماذا لم يكن فحص الأوزان هو المسار الوحيد يوماً

لطالما قامت SR 11-7 والأطر التي نشأت حولها على ركيزتين، لا واحدة. السلامة المفاهيمية (هل يتسق تصميم النموذج منطقياً) هي الركيزة التي يستشهد بها الجميع. أما الركيزة الثانية فهي تحليل النتائج: هل تتطابق مخرجات النموذج مع ما حدث فعلاً، أو مع ما يقول مرجع موثوق إنه ينبغي أن يحدث. على مدى عقود، تحقّقت البنوك من بطاقات تقييم وأنظمة تسعير اشترتها من مورّدين ولم تستطع فتحها بالكامل، وذلك باعتمادها بقوة على هذه الركيزة الثانية. كانت تقارن المخرجات مقابل نتائج معروفة.

عاشت نماذج المورّدين دائماً تحت هذه القاعدة. لطالما رسّخت الإرشادات الرقابية أن النموذج المُشترى من طرف ثالث يخضع للتحقق وفق المبادئ نفسها التي يخضع لها النموذج المبني داخلياً: تنحني العملية أمام القيود، لكن المعيار لا يتراجع. الطبيعة المملوكة للمكوّنات الداخلية لا تمنحك إعفاءً، بل تُحمّلك عبئاً أثقل في اختبار النتائج.

ونماذج LLM تدفع هذا المنطق إلى أقصى حدوده. لا توجد بطاقة تقييم لتختلسها، ولا معاملات انحدار لتتحقق من معقوليتها. لديك مُدخل نصي يدخل ونص يخرج. وهذا بالضبط الوضع الذي وُجد تحليل النتائج من أجله. والتحوّل البارز الآن في ممارسة مخاطر النماذج (وما بات المُفتّشون يقبلونه على نحو متزايد لنموذج LLM من مورّد ضمن المستوى الأول (Tier-1)) هو أن التحقق من المخرجات مقابل مجموعة مرجعية مُصنّفة يمكن أن يحلّ محل فحص مكوّنات داخلية لم تكن لتحصل عليها أصلاً.

ما الذي يتطلبه التحقق من المخرجات فعلاً

التحقق من المخرجات سهل القول، قاسٍ في التطبيق. تحتاج إلى مجموعة من المُدخلات، والإجابة الصحيحة المعروفة لكل منها، وطريقة لتقييم استجابة النموذج مقابل تلك الإجابة على نطاق واسع. ثلاثة عناصر، والعنصر الثاني هو حيث تنهار معظم البرامج.

يجب أن تكون المجموعة المرجعية مُصنّفة. وبالنسبة لنموذج LLM مالي، تعني “مُصنّفة” أن لكل سؤال في المجموعة إجابة عددية مرجعية تثق بها بما يكفي للتقييم على أساسها. كم بلغ هامش الربح الإجمالي في الربع الثالث؟ ما نسبة التداول بعد إقفال ديسمبر؟ إذا رفعت أرقام ديسمبر مدى السيولة لدينا على مدى 13 أسبوعاً بنسبة 6%، فما أثر ذلك على هامش الالتزام التعاقدي؟ كل سؤال من هذه يحتاج إلى إجابة صحيحة واحدة، وعلى تلك الإجابة أن تكون قابلة للدفاع عنها: لا “أفضل تقدير لدى المحلل”، بل رقم يرتبط بدفتر الأستاذ.

وهذه هي العقدة التي لا يريد أحد قولها بصوت عالٍ. لا يمكنك التحقق من مخرجات نموذج LLM مقابل أرقام لا تستطيع أنت نفسك الدفاع عنها. فالمجموعة المرجعية المبنية على جدول بيانات لا تتسوّى هي مجموعة تُمرّر الأخطاء إلى أدلة التحقق لديك. حقيقة فاسدة تدخل، ثقة زائفة تخرج.

المجموعة المرجعية نموذج مُسوّى، لا اختبار قصير

إليك إعادة التأطير التي تجعل الأمر قابلاً للتنفيذ. الجزء الأصعب في التحقق من نموذج LLM مالي ليس النموذج نفسه، بل إنتاج حقيقة مرجعية يمكنك الوقوف خلفها.

النموذج المالي المُسوّى (مصدر حقيقة واحد يرتبط بدفتر الأستاذ العام) هو تلك الحقيقة المرجعية بالضبط. إذا كانت أرقامك آتية من نموذج يتسوّى حتى آخر قرش مع QuickBooks أو Xero أو NetSuite أو Sage أو مستودع بياناتك، فإن كل رقم فيه إجابة مرجعية مُصنّفة سلفاً. هامش الربح الإجمالي، ومدى السيولة، ومساهمة القطاع، وحساب الالتزام التعاقدي: لكل منها قيمة صحيحة معروفة، لأن النموذج الذي يحملها مُسوّى وقابل للتتبع وقابل للتدقيق.

هذه هي البنية التي بُني حولها Rexfin، ويجدر أن نوضح صراحةً كيف تتراصف القطع مع برنامج التحقق:

• المجموعة المُصنّفة تأتيك مجاناً. كل مقياس في نموذج مُسوّى هو سؤال بإجابة قابلة للدفاع عنها. فمجموعتك المرجعية ليست مشروعاً جانبياً، بل استعلاماً مقابل مصدر حقيقتك.
• الحسابات لا تمر عبر نموذج LLM. تُنفّذ العمليات الحسابية في محرّك حتمي. يسترجع النموذج الأرقام ويصوغ الإجابات، لكنه لا يجري العمليات الحسابية. وهذا يطوي فئة كاملة من الإخفاقات (اختلاق النموذج لرقم بثقة)، ويحوّلها إلى شيء يمكنك اختباره وضبطه.
• كل مُخرج يُتتبّع إلى مصدره. حين يُرجع النموذج “مدى السيولة 11 شهراً”، يمكنك تتبّع هذا الرقم عبر الحساب وصولاً إلى الأرصدة المُسوّاة التي يستند إليها. وقابلية التتبّع هي ما يحوّل ملاحظة التحقق إلى بند مُغلق بدلاً من جدال.

حين تكون المجموعة المرجعية نموذجاً مُسوّى لا مفتاح إجابات ثابتاً، يتوقف التحقق الفصلي من المخرجات عن كونه مشروعاً خاصاً. تعيد تشغيل المجموعة المُصنّفة مقابل النموذج الحالي بعد كل إقفال، وتقيّم استجابات نموذج LLM، وتسجّل الفروقات. الأداة نفسها، حقيقة جديدة، كل ربع سنة.

ما الذي لا يعالجه هذا

التحقق من المخرجات ضروري لا كافٍ، والبرنامج الموثوق يقول ذلك صراحةً.

المجموعة المرجعية لا تغطي إلا الأسئلة الموجودة فيها. يطرح المستخدمون الحقيقيون أموراً لم تُصنّفها قط، بصياغات لم تتوقعها قط، والنموذج الذي يتفوّق في مجموعتك قد يضلّل مع ذلك في الذيل الطويل من الحالات النادرة. فالتغطية سؤال مفتوح دائم: توسّع المجموعة، وتأخذ عيّنات من حركة الإنتاج، وتتقبّل أن بعض المخاطر يقع خارج المجموعة المرجعية.

كما أن التحقق من المخرجات لا يخبرك بشيء عن كيف وقعت الإجابة الخاطئة. فقد يستبدل المورّد بصمت نسخة أصغر أو مُكمّمة من النموذج لخفض التكاليف، فتنحرف درجاتك قبل أن تفهم السبب. ولهذا يقترن التحقق من المخرجات بمراقبة مستمرة بدلاً من أن يحلّ محلها. تتحقق فصلياً وتراقب باستمرار، لأن الصندوق الذي لا تستطيع فتحه قد يتغيّر أيضاً من دون أن يخبرك.

ولا يعالج أيٌّ من هذا مسألة الاسترجاع. فإذا سحب النموذج الرقم الخاطئ من المصدر الصحيح، أو الرقم الصحيح من مصدر قديم، فذلك إخفاق في طبقة البيانات قد تلتقطه مجموعتك المرجعية أو لا تلتقطه، تبعاً لما صنّفته. فالتحقق من النموذج والتحكم في البيانات وظيفتان مختلفتان.

الخلاصة

لن تتحقق أبداً من أوزان نموذج LLM من مورّد، وعليك أن تكفّ عن محاولة تصميم برنامج يتظاهر بأنك تستطيع ذلك. المسار القابل للدفاع عنه هو التحقق من المخرجات مقابل مجموعة مرجعية مُصنّفة، والمجموعة المرجعية هي الجزء الذي يقرّر ما إذا كانت أدلتك حقيقية. ابنها على أرقام تتسوّى مع دفتر الأستاذ، وأجرِ الحسابات بشكل حتمي حتى لا يتمكن النموذج من الاختلاق، وأبقِ كل إجابة قابلة للتتبّع إلى مصدرها، وعندها يصبح التحقق الفصلي روتيناً تستطيع عرضه على مُفتّش من دون تردد.

إذا كنت بصدد تأسيس برنامج تحقق لنموذج LLM مالي والمجموعة المرجعية هي القطعة الناقصة، فإن طبقة الحقيقة المرجعية المُسوّاة تلك هي بالضبط ما بنيناه. احجز عرضاً توضيحياً وسنشرح لك كيف تنبثق المجموعة المرجعية من النموذج.

وللصورة الأشمل، تغطي ركيزة حوكمة الذكاء الاصطناعي في التمويل كيف يندرج هذا ضمن إطار التحكم الأوسع، بما في ذلك ما الذي يغيّره إطار مخاطر النماذج لعام 2026 والبنية المرجعية لطبقة تحكم بالذكاء الاصطناعي التي تربطها كلها معاً.