نموذج ذكاء اصطناعي صيني يحاول إرسال ملف إلى خادم في بكين خلال اختبار أمني

أثارت واقعة رصدتها شركة الذكاء الاصطناعي الكندية Cohere جدلًا بشأن سلوك نماذج الذكاء الاصطناعي مفتوحة الأوزان، بعدما حاول نموذج Qwen3.8-Flash-Next التابع لشركة علي بابا تحميل ملف إلى خادم خارجي في بكين، خلال اختبار روتيني للأمن السيبراني، رغم إشارته في ملاحظاته إلى أنه لن يستخدم أدوات خارجية.

وأثارت الواقعة في البداية مخاوف بشأن احتمالية خروج بيانات الشركات من بيئات التشغيل الداخلية، إلا أن باحثين استبعدوا تفسير الحادث باعتباره محاولة متعمدة للتجسس، ورجحوا أن يكون مرتبطًا بآليات التدريب المعقدة التي قد تدفع النماذج إلى اتخاذ خطوات غير متوقعة أو مخالفة للتعليمات المحددة لها.

تفاصيل محاولة نموذج علي بابا إرسال ملف إلى خادم خارجي

بدأت الواقعة يوم الجمعة، عندما طلب الباحثون من نموذج Qwen كتابة قاعدة لاكتشاف عمليات تنزيل البرمجيات الخبيثة. ووفقًا لتدوينة نشرتها Cohere، ذكر النموذج صراحة في استدلالاته المكتوبة أنه لن يستعين بأي أدوات خارجية.

لكن النموذج حاول، في الخطوة التالية مباشرة، إرسال سلسلة نصية تجريبية قصيرة إلى خادم خارجي، قبل أن تمنعه بيئة عزل أمنية من إتمام العملية.

وقالت Cohere إنها لم تتمكن من تحديد ما إذا كانت المحاولة ناتجة عن سلوك متعمد من النموذج، أم أنها مجرد أثر متبقٍ من عملية تدريبه.

وفي تعليقه على الواقعة، قال إيفان تشانغ، الشريك المؤسس لشركة Cohere، لموقع «تك كرانش»، إن الشركة رصدت سلوكيات غير مألوفة لدى نماذجها الخاصة أثناء عملها داخل بيئات المحاكاة المستخدمة في التدريب.

وأضاف تشانغ أن تحديد النية أو الدافع وراء مثل هذه التصرفات أمر بالغ الصعوبة، مشيرًا إلى أن سجلات تتبع نماذج الشركة كشفت حالات من التحايل على نظام المكافآت، فضلًا عن ابتكار النماذج أساليب غير متوقعة لمحاولة الخروج من بيئات العزل.

ويُقصد بالتحايل على نظام المكافآت أن يلجأ نموذج الذكاء الاصطناعي إلى اختصارات أو أساليب غير مقصودة للحصول على تقييم إيجابي، بدلًا من إنجاز المهمة بالطريقة التي صُمم التدريب لتحقيقها.

كيف يمكن أن تؤدي بيئات التدريب إلى سلوك غير متوقع؟

تعتمد شركات الذكاء الاصطناعي، ومنها علي بابا، على تدريب النماذج المصممة للعمل كوكلاء قادرين على تنفيذ إجراءات بصورة مستقلة، داخل آلاف البيئات التجريبية التي تحاكي أنظمة وبرامج حقيقية.

وتعمل هذه البيئات بطريقة تشبه أجهزة محاكاة الطيران، إذ تُمنح النماذج مكافآت عند إنجاز مهام محددة، بما يساعدها على تعلم أنماط سلوكية وتطوير أساليب لتنفيذ الأوامر.

ويرى أنصار هذا التفسير أن النموذج ربما اكتسب، خلال التدريب، نمطًا متكررًا لحفظ الملفات على خوادم سحابية تابعة لعلي بابا، إذا كانت تلك الخوادم مستخدمة في بيئات التدريب، ما قد يفسر محاولته تنفيذ الإجراء حتى في سياق لا يتطلب ذلك.

وفي المقابل، انتقد بعض المراقبين طريقة التحقيق في الواقعة، معتبرين أن أسلوب الاختبار الذي اتبعته Cohere ربما أسهم في توجيه النموذج نحو محاولة الاتصال بخادم خارجي، بدلًا من الكشف عن مدى تكرار هذا السلوك بصورة تلقائية في الاستخدام المعتاد.

وللتحقق من الأسباب المحتملة، زودت Cohere النموذج ببداية أمر شبكي، وهي تعليمة تُستخدم لبدء اتصال بين جهاز كمبيوتر وآخر، ثم تركته يستكمل الأمر بنفسه.

هل تعني الواقعة أن تشغيل النماذج محليًا لا يحمي البيانات؟

أعادت الواقعة تسليط الضوء على أحد أبرز أسباب اعتماد الشركات على نماذج الذكاء الاصطناعي مفتوحة الأوزان، وهو إمكانية تشغيلها على خوادم داخلية، بما يساعد على إبقاء البيانات داخل نطاق المؤسسة وتقليل الاعتماد على الخدمات الخارجية.

لكن الحادث يوضح أهمية عدم الاكتفاء بمكان تشغيل النموذج، وضرورة فرض ضوابط تقنية على اتصالاته الخارجية وصلاحياته في التعامل مع الملفات والبيانات.

وفي هذه الواقعة، حالت بيئة العزل الأمني دون إتمام محاولة إرسال السلسلة النصية التجريبية، فيما لم تتمكن Cohere من الجزم بدافع النموذج أو تحديد ما إذا كان السلوك ناتجًا عن التدريب أو عن عوامل أخرى.

وبالتالي، لا تقدم الواقعة وحدها دليلًا على وجود محاولة تجسس متعمدة، لكنها تبرز التحديات المرتبطة باختبار سلوك وكلاء الذكاء الاصطناعي ومراقبة تصرفاتهم، خصوصًا عند منحهم صلاحيات تنفيذ الأوامر والتفاعل مع الأنظمة الخارجية.