ساتيا ناديلا يدعو إلى مكبح طوارئ للذكاء الاصطناعي

دعا ساتيا ناديلا، الرئيس التنفيذي لمايكروسوفت، إلى بناء مكبح طوارئ للذكاء الاصطناعي داخل الأنظمة المتقدمة، بحيث يستطيع شخص مخول إيقاف النموذج أو تعطيل المهمة أثناء التنفيذ إذا ظهرت مخاطر أو سلوكيات غير متوقعة. الفكرة جاءت ضمن طرح أوسع لناديلا حول ضرورة التعامل مع النماذج القوية باعتبارها أنظمة قد تكون مخترقة أو غير موثوقة منذ البداية، بدل الاكتفاء بالثقة في وعود مزود النموذج أو في القيود الموجودة داخله.

الإجابة السريعة

يرى ساتيا ناديلا أن مكبح طوارئ للذكاء الاصطناعي يجب أن يكون جزءًا من بنية النظام نفسها، لا مجرد تعليمات داخل النموذج. ويقترح فصل النموذج عن طبقة التشغيل والأدوات، وتسجيل كل إجراء مهم في أدلة واضحة لا يمكن العبث بها، وفرض ضوابط مستقلة على ما يستطيع النموذج الوصول إليه، مع قدرة شخص مخول على إيقافه في منتصف المهمة.

لماذا يتحدث ناديلا عن مكبح طوارئ للذكاء الاصطناعي؟

في منشور مطول على X بتاريخ 10 أكتوبر 2026، قال ناديلا إن الوقت حان لإعادة تقييم ما سماه «بنية الثقة» في عصر الأنظمة فائقة الذكاء. المشكلة من وجهة نظره أن البرمجيات التقليدية كانت تسمح غالبًا بتتبع السلوك إلى مسار محدد في الكود، بينما لا نستطيع تفسير سلوك النماذج الحديثة بالطريقة نفسها، رغم منحها وصولًا إلى بيانات حساسة وأدوات وقدرة على تنفيذ إجراءات حقيقية.

لهذا لا يريد ناديلا أن تكون الحماية مجرد Prompt أو مجموعة قواعد يفسرها النموذج بنفسه. فوجود مكبح طوارئ للذكاء الاصطناعي يعني أن هناك طبقة خارجية تستطيع فرض الحدود حتى إذا أخطأ النموذج أو تجاهل التعليمات أو تعرض النظام لمحاولة اختراق.

سبعة مبادئ لبنية أكثر أمانًا

طرح ناديلا مجموعة مبادئ مترابطة بدل حل واحد. جوهرها أن النموذج لا ينبغي أن يكون الجهة التي تعمل وتراقب نفسها وتقرر في الوقت نفسه ما إذا كانت ملتزمة بالقواعد. هذا الفصل يشبه مبادئ الأمن التقليدية التي تمنع النظام الحساس من امتلاك كل الصلاحيات ومراجعة نفسه دون رقابة مستقلة.

الفكرة الأساسية هي افتراض أن النموذج قد يكون مخترقًا

أقوى نقطة في طرح ناديلا هي الدعوة إلى تصميم الأنظمة على أساس أن النموذج قد يكون «compromised» من البداية. هذا لا يعني أن كل نموذج مصاب فعليًا باختراق أمني، بل يعني عدم جعل الثقة في سلوك النموذج شرطًا لحماية النظام. في الأمن السيبراني، هذا قريب من فلسفة Zero Trust التي تفترض أن كل مكون يحتاج إلى تحقق وحدود واضحة.

ومن هنا يأتي تشبيه مكبح طوارئ للذكاء الاصطناعي. إذا كان الوكيل قادرًا على إرسال بريد، تعديل ملفات، تشغيل كود، تنفيذ تحويل مالي أو الوصول إلى نظام داخلي، فإن القدرة على إيقافه يجب أن تكون خارج سيطرته. وكلما أصبحت النماذج أكثر قدرة، يرى ناديلا أن تقنيات الاحتواء نفسها ستحتاج إلى معايير أكثر تقدمًا.

فصل النموذج عن الأدوات التي ينفذ بها العمل

ناديلا يميز بين النموذج وبين الـHarness الذي ينظم عمله، وبين مساحة الأفعال التي يسمح له النظام بتنفيذها. هذا الفصل مهم لأن الخطر لا يأتي من النص الذي يولده النموذج فقط، بل من الأدوات التي يمكنه استخدامها بعد ذلك.

إذا كان النموذج قادرًا على اقتراح أمر لكنه غير قادر على تنفيذه إلا بعد مرور الطلب عبر طبقة صلاحيات مستقلة، يصبح الضرر المحتمل أكثر قابلية للاحتواء. وبهذا يكون مكبح طوارئ للذكاء الاصطناعي جزءًا من بنية التنفيذ نفسها، وليس زرًا شكليًا يظهر بعد فوات الأوان.

كل إجراء مهم يجب أن يترك أثرًا يمكن للبشر فهمه

يدعو ناديلا أيضًا إلى أن تترك كل خطوة مهمة يقوم بها النموذج أثرًا واضحًا لا يمكن تعديله سرًا. الهدف ليس حفظ سجل تقني مبهم فقط، بل إنتاج دليل يستطيع الإنسان مراجعته لمعرفة كيف وصل النظام إلى النتيجة وما الأدوات التي استخدمها وما الذي تغير.

هذه النقطة تصبح أكثر أهمية مع الوكلاء الذين ينفذون سلسلة طويلة من المهام. إذا حدث خطأ في الخطوة العشرين، يجب أن يكون من الممكن إعادة بناء المسار الذي أدى إليه دون مطالبة النموذج نفسه بشرح ما حدث ثم اعتبار شرحه دليلًا نهائيًا. وهنا يصبح مكبح طوارئ للذكاء الاصطناعي مرتبطًا أيضًا بقابلية التتبع والمحاسبة، لا بعملية الإيقاف وحدها.

لماذا لا يكفي أن يراجع نموذج آخر النتيجة؟

ناديلا يؤيد تنوع النماذج، لكنه لا يراه بديلًا عن الضوابط الخارجية. يمكن أن يستخدم النظام نموذجًا ثانيًا لمراجعة ناتج النموذج الأول، لكن إذا كان النموذجان داخل البيئة نفسها ويملكان الصلاحيات نفسها، فإن ذلك لا يحقق استقلالًا حقيقيًا.

المبدأ الذي يطرحه هو ألا يتحكم نموذج واحد في السلوك وفي الأدلة المستخدمة للتحقق من هذا السلوك. لذلك يجمع مكبح طوارئ للذكاء الاصطناعي بين المراقبة المستقلة، وتحديد الصلاحيات، والقدرة على الإيقاف، وليس مجرد مقارنة إجابتين صادرتين عن نموذجين.

الفكرة قريبة من اتجاه أمني بدأ يظهر لدى شركات أخرى

هذا التصور لا يظهر في فراغ. قبل أسابيع عرضت NVIDIA منصة Open Agent Safety التي تفصل بين الوكيل وطبقات الحماية، وتشغل الوكلاء داخل Sandbox وتضيف مراقبة مستقلة يمكنها عزلهم إذا تجاوزوا الحدود. وقد شرحنا في سوالف سوفت كيف تعمل NVIDIA Open Agent Safety لحماية وكلاء الذكاء الاصطناعي.

التشابه واضح: كلا الاتجاهين يفترض أن تدريب النموذج على اتباع التعليمات لا يكفي وحده، وأن الأمان الحقيقي يحتاج إلى ضوابط خارجية يمكن فرضها حتى عندما يتصرف الوكيل بصورة غير متوقعة. ولهذا يمكن النظر إلى مكبح طوارئ للذكاء الاصطناعي كجزء من انتقال أوسع من «سلامة النموذج» إلى «سلامة النظام» بالكامل.

هل أعلنت مايكروسوفت منتجًا جديدًا؟

لا. منشور ناديلا يقدم رؤية ومبادئ معمارية، وليس إعلانًا عن منتج جديد أو زر ستضيفه مايكروسوفت غدًا إلى Copilot. هذه نقطة مهمة لأن عبارة Emergency Brake قد تبدو كاسم ميزة، بينما المقصود تشبيه هندسي لآلية احتواء يجب أن توجد في الأنظمة المتقدمة.

مع ذلك، يتوافق الطرح مع اتجاه مايكروسوفت الحالي. الشركة تتحدث بالفعل عن فصل النموذج عن الذاكرة والسياق ومساحة الفعل، وعن جعل النماذج قابلة للاستبدال داخل الأنظمة، كما توسع أدوات الحوكمة والاحتواء للوكلاء في Azure وWindows. لذلك لا يبدو مكبح طوارئ للذكاء الاصطناعي منفصلًا عن استراتيجيتها التقنية الأوسع.

المراقبة وحدها لا تكفي بدون صلاحيات واضحة

وجود سجل ممتاز لا يمنع الخطأ إذا كان الوكيل يملك وصولًا مفتوحًا إلى كل شيء. لهذا يركز ناديلا على أن المؤسسة يجب أن تحدد بصورة مستقلة ما الذي يستطيع النموذج رؤيته وما الإجراءات التي يستطيع تنفيذها.

• تحديد الملفات والبيانات التي يستطيع الوكيل الوصول إليها.
• تقييد الأدوات وواجهات API المتاحة لكل مهمة.
• منع النموذج من توسيع صلاحياته بنفسه.
• الاحتفاظ بسجل واضح لكل إجراء حساس.
• توفير شخص أو جهة مخولة تستطيع إيقاف التنفيذ فورًا.

هذه الطبقات مجتمعة تجعل مكبح طوارئ للذكاء الاصطناعي أكثر من مجرد زر أحمر. فالإيقاف هو آخر خط دفاع، أما التصميم الجيد فيحاول أولًا تقليل مساحة الضرر ومنع النموذج من الوصول إلى ما لا يحتاجه.

الإفصاح عن الحوادث جزء من الثقة أيضًا

يدعو ناديلا الشركات إلى الإفصاح في الوقت المناسب عندما تفشل هذه الأنظمة أو تتعرض للاختراق، مع توضيح ما الذي حدث وأي ضوابط فشلت وكيف يمكن منع تكرار المشكلة. ويرى أن مشاركة التفاصيل التنفيذية التي تغير سلوك الوكلاء وقت التشغيل مهمة حتى تتعلم الصناعة من الحوادث بدل تكرارها.

هذا يوسع مفهوم الثقة من «هل النموذج جيد؟» إلى «هل المؤسسة تستطيع اكتشاف الخطأ واحتواءه وشرحه والتعلم منه؟». وفي الأنظمة التي تعمل لساعات أو أيام وتنفذ مهامًا نيابة عن البشر، قد تكون هذه القدرة أهم من الادعاء بأن النموذج نفسه موثوق بنسبة عالية. لذلك يرتبط مكبح طوارئ للذكاء الاصطناعي أيضًا بثقافة الإفصاح والتعلم من الحوادث.

مكبح طوارئ للذكاء الاصطناعي: ما الذي يعنيه هذا للمطورين والشركات؟

إذا تحولت رؤية ناديلا إلى معيار عملي واسع، فلن يكفي أن يختار المطور أفضل نموذج ثم يربطه بمجموعة أدوات. سيحتاج إلى تصميم حدود مستقلة حول النموذج: صلاحيات أقل، سجلات يمكن تدقيقها، نقاط موافقة بشرية للعمليات الحساسة، وطرق لإلغاء المهمة أثناء التنفيذ.

كما يعني ذلك أن تقييم نظام AI لن يعتمد فقط على جودة الإجابات أو الاختبارات القياسية، بل على ما يحدث عندما يفشل. هل يمكن وقف المهمة؟ هل يمكن معرفة ما الذي فعله؟ هل يستطيع النموذج تعديل سجله؟ وهل يمكن استبداله بنموذج آخر إذا أصبح غير متاح أو غير موثوق؟ هذه هي الأسئلة التي يحاول مفهوم مكبح طوارئ للذكاء الاصطناعي وضعها في قلب التصميم، بحيث يصبح مكبح طوارئ للذكاء الاصطناعي جزءًا من هندسة المنتج منذ البداية.

الثقة الأقل قد تصنع النظام الأكثر أمانًا

الخلاصة الفكرية في طرح ناديلا تبدو عكسية للوهلة الأولى: النظام الأكثر موثوقية ليس بالضرورة النظام الذي نثق في نموذجه أكثر، بل النظام الذي لا يحتاج منا إلى منح النموذج ثقة مطلقة أصلًا. عندما تكون المراقبة والحدود والتدقيق والإيقاف مستقلة، يصبح خطأ النموذج مشكلة يمكن احتواؤها بدل أن يتحول إلى انهيار للنظام كله.

يمكن قراءة طرح ساتيا ناديلا الأصلي على X حول مخاطر النماذج وبنية الثقة. وإذا أصبحت الوكلاء قادرة على تنفيذ مهام أكثر حساسية واستقلالية، فمن المرجح أن يتحول مكبح طوارئ للذكاء الاصطناعي من استعارة أمنية إلى مطلب هندسي أساسي في الأنظمة التي تعمل نيابة عن البشر.

لا يسمح بنقل هذا المحتوى من سوالف دون الاشارة برابط مباشر

استضافة مجانية