مايكروسوفت: نماذج الذكاء الاصطناعي المتقدمة تتطلب رقابة أمنية مشددة لتجنب المخاطر


هذا الخبر بعنوان ""مايكروسوفت" تحذر من الثقة في نماذج الذكاء الاصطناعي المتقدمة" نشر أولاً على موقع البلاد وتم جلبه من مصدره الأصلي بتاريخ ٢٢ أكتوبر ٢٠٢٦.
لا يتحمل موقعنا مضمونه بأي شكل من الأشكال. بإمكانكم الإطلاع على تفاصيل هذا الخبر من خلال مصدره الأصلي.
تحذر شركة مايكروسوفت الشركات من الاعتماد الكامل على نماذج الذكاء الاصطناعي المتقدمة لمراقبة عملياتها الداخلية. وتؤكد الشركة أن منح الوكلاء الذكيين صلاحيات واسعة للوصول إلى قواعد البيانات والأنظمة الحساسة قد يشكل مخاطر أمنية جسيمة، حتى في غياب أي نوايا خبيثة. ومع تزايد استخدام وكلاء الذكاء الاصطناعي القادرين على تنفيذ المهام بشكل مستقل، تعمل مايكروسوفت على تعزيز منظومتها الأمنية بأدوات رقابية جديدة تهدف إلى رصد سلوك هذه الوكلاء، وكشف أي تصرفات غير معتادة، والتدخل قبل وقوع الأضرار.
فصل قدرات الذكاء الاصطناعي عن أنظمة الأمن
أوضح نديم عبدو، نائب رئيس مايكروسوفت، في تحديث رسمي للشركة، أن وكلاء الذكاء الاصطناعي لا يسعون عادةً للإضرار بالأنظمة، إلا أن طبيعتهم غير المتوقعة قد تجعل أخطاءهم خطيرة عند منحهم صلاحيات واسعة داخل بيئات العمل. وتتفق هذه المخاوف مع ما أكده الرئيس التنفيذي للشركة، ساتيا ناديلا، حول ضرورة الفصل بين قدرات الذكاء الاصطناعي نفسها وأنظمة الأمن المسؤولة عن التحكم فيها. وهذا يعني أنه لا ينبغي للشركات الاعتماد حصرياً على مختبر الذكاء الاصطناعي الذي طور نموذجاً معيناً ليكون الجهة الوحيدة المسؤولة عن مراقبة سلوكه وضمان التزامه بقواعد الأمان. تسعى مايكروسوفت من خلال هذا التوجه إلى إنشاء طبقة أمنية مستقلة قادرة على مراقبة الوكلاء الذكيين والتحكم في صلاحياتهم، بدلاً من الاكتفاء بقدرات النموذج المتقدمة لمنع الأخطاء أو التجاوزات.
Guardian Agents.. مراقبون آليون لوكلاء الذكاء الاصطناعي
نظراً لقدرة وكلاء الذكاء الاصطناعي على تنفيذ آلاف العمليات في فترات زمنية قصيرة، يصبح من الصعب على الموظفين أو مسؤولي الأمن مراجعة كل إجراء بشكل فوري. ولمعالجة هذه المشكلة، تعمل مايكروسوفت على توسيع مجموعة أدواتها الأمنية ضمن مشروع Project Perception، من خلال أدوات جديدة تحمل اسم Guardian Agents، أو "الوكلاء الحراس". تعمل هذه الأدوات كنظم رقابية مستقلة تراقب وكلاء الذكاء الاصطناعي النشطين عبر شبكات الشركات، والمنصات السحابية، والأجهزة المحلية، بهدف اكتشاف السلوك غير المعتاد قبل أن يؤدي إلى أضرار. أشارت هاييتي غالوت، المسؤولة التنفيذية في قطاع الأمن لدى مايكروسوفت، إلى أن نماذج الذكاء الاصطناعي تركز بشكل أساسي على إنجاز المهام الموكلة إليها، وليس بالضرورة على الالتزام بقواعد العمل أو مراعاة الأحكام والتقديرات البشرية. وللتعامل مع هذه الفجوة، أصبحت أدوات Microsoft Defender وEntra Agent ID قادرة على اكتشاف عشرات أدوات الذكاء الاصطناعي المحلية، بما في ذلك Claude Code وOpenAI Codex وGitHub Copilot، وفقاً لموقع TechRadar. تتيح المنظومة تطبيق صلاحيات وصول ديناميكية، حيث يحصل الوكيل الذكي على الملفات اللازمة لتنفيذ مهمة محددة فقط، ثم يتم تقليص صلاحياته فور انتهاء المهمة. يهدف هذا النهج إلى الحد من الأضرار المحتملة في حال ارتكب الوكيل خطأً أو حاول الوصول إلى بيانات لا يحتاج إليها لإنجاز عمله.
عزل الوكلاء الذكيين وإيقافهم عند الضرورة
تتضمن الضوابط الأمنية الجديدة آليات للتعامل مع الوكلاء الذين يبدأون في التصرف بصورة غير طبيعية. يمكن تقييد وصولهم إلى الأنظمة والبيانات، أو طلب موافقة بشرية قبل مواصلة العمل، أو إيقافهم بالكامل. لا يقتصر هذا التوجه على مايكروسوفت وحدها، بل يمتد إلى تعاون أوسع داخل قطاع التكنولوجيا، من خلال شراكة مع شركة إنفيديا ضمن مبادرة Open Agent Safety Platform، التي تستهدف تعزيز سلامة الوكلاء الذكيين وآليات التحكم فيهم. تشير هذه التحركات إلى اتجاه متزايد نحو دمج إجراءات الحماية في البنية التقنية نفسها، بدلاً من الاعتماد حصرياً على التعليمات التي يتلقاها نموذج الذكاء الاصطناعي أو قدرته على الالتزام بها. وفي هذا السياق، يبرز مفهوم مفاتيح الإيقاف المدمجة في الأجهزة والعتاد الإلكتروني، التي تتيح تعطيل الأنظمة عند الضرورة على مستوى المكونات المادية، بوصفه أحد الأساليب المطروحة لتعزيز السيطرة على الوكلاء المستقلين. وتعكس هذه الإجراءات تحولاً في طريقة تعامل شركات التكنولوجيا مع الذكاء الاصطناعي المتقدم؛ فمع انتقال الوكلاء من مجرد تقديم الإجابات إلى تنفيذ المهام والوصول إلى الأنظمة والبيانات، لم تعد كفاءة النموذج وحدها كافية، بل أصبحت الحاجة أكبر إلى رقابة مستقلة وصلاحيات محدودة وآليات تدخل تضمن بقاء هذه الأدوات تحت السيطرة.
اقتصاد
تكنولوجيا
تكنولوجيا
تكنولوجيا