حقن الأوامر وانحياز الاسترجاع: المخاطر التي لم يغطّها SR 11-7 قط

كُتب SR 11-7 عام 2011، أي قبل اثني عشر عامًا من أن يكتب أحدٌ في القطاع المالي سؤالًا في ChatGPT فيتلقى رقمًا يبدو وكأنه إجابة. إن توجيهات الاحتياطي الفيدرالي ومكتب مراقب العملة، التي رسمت ملامح إدارة مخاطر النماذج لجيل كامل، افترضت أن النموذج شيء تبنيه وتوثّقه وتتحقق من صحته في مواجهة بيانات محتجزة. كانت له مدخلات ومعادلات ومخرجات قابلة للتكرار. شغّل البيانات ذاتها مرتين، فتحصل على النتيجة ذاتها. صمد هذا الافتراض لبطاقات تقييم الائتمان، ومحركات القيمة المعرّضة للمخاطر، ونماذج التسعير، على مدى أكثر من عقد.

لكنه لا يصمد أمام نموذج لغوي كبير. والفجوة بين ما صُمّم SR 11-7 لحوكمته وبين ما يفعله النموذج اللغوي فعليًا هي حيث تكمن الإخفاقات الجديدة.

ثلاثة إخفاقات لم يضطر الإطار القديم لتسميتها قط

لطالما كان لمخاطر النماذج التقليدية سلّتان كبيرتان: إما أن يكون النموذج خاطئًا من أساسه، أو أن يُستخدم على نحوٍ غير صحيح. وما زالت كلتاهما قائمتين. غير أن ربط نموذج لغوي كبير بمسار عمل مالي يُدخل ثلاثة أنماط من الإخفاق لا نظير واضح لها في دليل التحقق من النماذج لعام 2011.

الهلوسة. النموذج التقليدي الذي تنقصه البيانات يُرجع خطأً أو قيمة فارغة. أما النموذج اللغوي، حين يواجه ثغرة، فيُنتج رغم ذلك رقمًا واثقًا وسلسًا ومقبولًا ظاهريًا. تُدرج قائمة OWASP لأبرز عشرة مخاطر لتطبيقات نماذج اللغة الكبيرة لعام 2025 هذا الأمر تحت بند المعلومات المضللة (LLM09)، وتصرّح به دون مواربة: تبدو المخرجات موثوقة سواء استندت إلى شيء حقيقي أم لا. في نموذج ائتماني، يُطلق الحقل المفقود استثناءً. أما في النموذج اللغوي، فيُملأ الحقل المفقود في صمت باختراعٍ من عنده.

حقن الأوامر. هذا هو ما يُربك أكثر الحدوس خبرةً. تصنّف OWASP حقن الأوامر بوصفه الخطر الأول لنماذج اللغة الكبيرة (LLM01)، والنسخة الأخطر منه هي الحقن غير المباشر: تعليمات مدسوسة داخل البيانات التي يقرؤها النموذج، لا داخل السؤال الذي يطرحه المستخدم. النموذج ليس قطعةً ساكنة تتحقق منها مرة واحدة. إنه مفسّر يتلقى التعليمات من أي نص يصل إليه، بما في ذلك حاشية في ملف PDF مرفوع، أو تعليق في جدول بيانات، أو حقل وصف مسحوب من نظام تخطيط موارد المؤسسة لديك. البيانات هي سطح الهجوم.

انحياز الاسترجاع. تعتمد معظم أنظمة نماذج اللغة الكبيرة المالية على التوليد المعزّز بالاسترجاع: تسحب المستندات ذات الصلة، وتسلّمها للنموذج، وتطلب منه الإجابة. جودة الإجابة رهينة لما أظهره المسترجِع. وتشير OWASP إلى نقاط الضعف الكامنة باسم نقاط ضعف المتجهات والتضمين (LLM08). فإذا التقط المسترجِع عرض الربع الماضي بدل إقفال هذا الربع، أو أعاد ثلاث مذكرات تحليلية متفائلة وصفرًا من المذكرات التحذيرية، فإن النموذج يستدل بأمانة على عيّنة منحازة فيُنتج استنتاجًا واثقًا وخاطئًا يبدو قابلًا للدفاع عنه. لم يحقن أحدٌ شيئًا. الانحياز كامن فيما جرى جلبه.

ولا شيء من هذه الإخفاقات يندرج تحت “النموذج غير معاير”. إنها ليست مشكلات تكشفها باختبار رجعي على عيّنة محتجزة. ولهذا تحديدًا لا يراها إطار تحقق صُمّم لبطاقات التقييم وهي قادمة.

كل إخفاق يقابله ضابط. لا إخلاء مسؤولية.

الردّ الكسول هو لافتة تقول “قد يرتكب الذكاء الاصطناعي أخطاء”. هذا ليس ضابطًا. إنه نقلٌ للمسؤولية إلى القارئ. كلٌّ من هذه الإخفاقات الثلاثة يقابله شيء ملموس يمكنك بناؤه، وشكل الحل واحد في كل حالة: توقّف عن السماح للنموذج اللغوي بأن يمسّ أجزاء مسار العمل التي لا مبرر لائتمانه عليها.

في حالة الهلوسة، الضابط هو منع النموذج من إنتاج الأرقام جملةً وتفصيلًا. مهمة النموذج اللغوي أن يفهم السؤال ويوجّهه؛ أما الأرقام فتأتي من نظام مرجعي. وإذا لم يكن الرقم موجودًا في البيانات الأساسية، فالمخرَج الصحيح هو “غير متاح”، تُرجعه طبقة البيانات، لا تخمينٌ سلس يصوغه النموذج. وتفرض هذا بفصل استرجاع القيمة عن توليد لغة تتحدث عنها.

في حالة حقن الأوامر، الضابط هو العزل بين ما يقرؤه النموذج وما يستطيع فعله. عامِل كل محتوى مسترجَع بوصفه مدخلًا غير موثوق، تمامًا كما يعامل تطبيق الويب بيانات نموذج المستخدم. يمكن للنص المسحوب من مستند أن يُثري الإجابة، لكن يجب ألا يكون قادرًا أبدًا على تغيير الحساب الذي يُشغَّل أو الحساب الذي يُجرى عليه. مجموعة التعليمات مثبّتة بشيفرتك، لا قابلة للتفاوض مع شيء مكتوب في فاتورة مورّد.

في حالة انحياز الاسترجاع، الضابط هو القابلية للتتبع إضافةً إلى الحتمية. كل رقم يُظهره الذكاء الاصطناعي ينبغي أن يحمل استشهادًا يعود إلى صف مصدر بعينه في نموذج مُسوّى، كي يتمكن المراجع من التحقق ليس من الرقم وحده بل من العيّنة التي جاء منها. والحسابات المبنية على تلك الأرقام، من معدلات نمو وهوامش ومدّة سيولة ونسب التعهدات، ينبغي أن تجري عبر محرك حتمي يُنتج الإجابة ذاتها في كل مرة، لا عبر تنبؤٍ بالرموز يُنتج إجابة مختلفة تبعًا للصياغة.

النقلة المعمارية: الاسترجاع والحساب مهمتان مختلفتان

الفكرة الواحدة الكامنة وراء الضوابط الثلاثة جميعها هي الفصل. الاسترجاع مسألة بحث. والحساب مسألة رياضيات. واللغة مسألة عرض. لم يضطر SR 11-7 قط للتمييز بينها لأن النماذج القديمة كانت تؤدي الثلاث جميعها على نحو حتمي. أما نماذج اللغة الكبيرة فتطويها في كتلة احتمالية واحدة، وفي هذا الطيّ تتركّز المخاطر.

هذا هو المبدأ التصميمي الذي بُنيت عليه Rexfin. اربط منصّات بياناتك المحاسبية والمالية، من QuickBooks وXero وNetSuite وSage وSAP وOracle ومستودع بيانات، أو ارفع كشوفك مباشرةً، فتبني المنصّة نموذجًا ماليًا مُسوّى واحدًا يتطابق مع دفتر الأستاذ. ذلك النموذج هو المصدر الوحيد للحقيقة. وحين يطرح الذكاء الاصطناعي سؤالًا، فإنه يسترجع الأرقام من ذلك النموذج بدل أن يخترعها. وتجري العمليات الحسابية عبر محرك حتمي لا عبر النموذج اللغوي، فيُرجع السؤال ذاته الرقم ذاته دائمًا. وكل مخرَج يعود في تتبعه إلى صف مصدر، وهو ما يحوّل الإجابة الواثقة إلى إجابة قابلة للتحقق.

ولنضع ذلك بصورة ملموسة: تعليمةٌ محقونة مدفونة في ملف PDF مرفوع لا تستطيع إعادة كتابة حساب أحد التعهدات، لأن الحساب شيفرة لا اقتراحٌ يحقّ للنموذج أن يتبعه. واسترجاعٌ منحاز لا يستطيع أن يضخّم معدل نمو في صمت، لأن المعدل يُحسب حتميًا من أرقام مُسوّاة والاستشهاد يبيّن بالضبط أيّ الأرقام. ورقمٌ مهلوس لا يستطيع بلوغ عرض مجلس الإدارة، لأن النموذج ليس هو الذي يُنتج الأرقام.

ما الذي لا يحلّه هذا

الصدق بشأن الحدود جزء من الضابط. عزل الحساب عن الاسترجاع لا يجعل استرجاعك مثاليًا؛ فإذا كان النموذج المُسوّى خاطئًا، كانت الإجابة القابلة للتتبع خاطئة على نحوٍ قابل للتتبع، وهو ما يظل أفضل من الخطأ الصامت لكنه ليس عين الصواب. والحتمية لا تتحقق من صحة البيانات الأساسية، بل تمنع النموذج وحسب من إضافة أخطاء جديدة فوقها. ولا توجد معمارية تُلغي الحاجة إلى مراجعة بشرية للقرارات الجوهرية. وما يفعله هذا هو تقليص نطاق تأثير النموذج اللغوي من “كل ما يقوله رقمٌ مالي محتمل” إلى “يساعدك على إيجاد وصياغة أرقام ضمن لها نظامٌ حتمي بالفعل”. وهذا سطحٌ أصغر بكثير للحوكمة، وأيسر بكثير للتحقق.

ينبغي ألا يقبل مديرٌ مالي متشكك عبارة “الذكاء الاصطناعي حذِر”. الحذر ليس ضابطًا. والسؤال الذي ينبغي طرحه على أي أداة مالية تعمل بالذكاء الاصطناعي أضيق وأصعب: ما الذي يمنع، ميكانيكيًا، رقمًا اخترعه النموذج، أو رقمًا أملاه عليه مستندٌ مسموم، من بلوغ قرار؟ إذا كانت الإجابة درجةَ ثقة أو إخلاءَ مسؤولية، فالإجابة هي: لا شيء.

للصورة الأوسع عن كيفية تكامل هذه الضوابط معًا، راجع ركيزة حوكمة الذكاء الاصطناعي المالي ومخاطر النماذج، والمعمارية المرجعية لمنظومة ضبط الذكاء الاصطناعي، ولماذا يجب أن يكون التحقق من نماذج اللغة الكبيرة للمورّدين عند المخرَج لا عند الأوزان.

وإن أردت أن ترى الاسترجاع والحساب الحتمي والتتبع الشامل من البداية إلى النهاية وهي تعمل على دفتر أستاذك أنت، احجز عرضًا توضيحيًا وأحضر معك رقمًا طالما خشيت أن تثق به.