ironcurtain

بيئة تشغيل آمنة* لوكلاء الذكاء الاصطناعي المستقلين، حيث يتم اشتقاق سياسة الأمان من دستور مكتوب بلغة مفهومة للبشر.

*عندما يكتب شخص ما “آمن”، يجب أن تكون مشككاً على الفور. ماذا نعني بالآمن؟

نموذج بحثي. IronCurtain هو مشروع بحثي في مرحلة مبكرة يستكشف كيفية جعل وكلاء الذكاء الاصطناعي آمنين بما يكفي ليكونوا مفيدين حقًا. قد تتغير واجهات برمجة التطبيقات، وأشكال التهيئة، والهندسة المعمارية. الترحيب بالمساهمات والملاحظات.

يُطلب من الوكيل استنساخ مستودع ودفع التغييرات. كل من `git_clone` و`git_push` يتم تصعيدهما من قبل محرك السياسة، ولكن الآلية التلقائية للموافقة تقرّهما تلقائياً – المدخلات الموثوقة من المستخدم من وضع الأوامر (Ctrl-A) قدمت نية واضحة، لذا لم يكن هناك حاجة للموافقة اليدوية `/approve`.

يمكن لوكلاء الذكاء الاصطناعي المستقلين إدارة الملفات، وتشغيل أوامر git، وإرسال الرسائل، والتفاعل مع واجهات برمجة التطبيقات نيابة عنك. ولكن الأطر الحالية للوكالة تعطي الوكيل نفس الامتيازات مثل المستخدم مثل الوصول الكامل إلى نظام الملفات وبيانات الاعتماد والشبكة. يسمي باحثو الأمان ذلك السلطة المحيطة، مما يعني أن حقنة واحدة من التعليمات أو انحراف متعدد الدور يمكن أن يتسبب في حذف الوكيل للملفات أو تسريب البيانات أو دفع رمز ضار.

الرد الشائع هو إما تقييد الوكلاء إلى صندوق رمل ضيق (مما يحد من فائدتهم) أو طلب موافقة المستخدم على كل إجراء (مما يحد من استقلاليتهم). لا شيء من ذلك مرضٍ.

تأخذ IronCurtain مسارًا مختلفًا: عبّر عن نية الأمان الخاصة بك بلغة إنجليزية بسيطة، ثم دع النظام يحدد كيفية التطبيق.

تكتب دستورًا وهو مستند قصير يصف ما يُسمح لوكيلك بفعله وما لا يُسمح له بفعله. تقوم IronCurtain بتجميع هذا في سياسة أمان حتمية باستخدام خط أنابيب LLM، وتتحقق من صحة القواعد المجمعة ضد سيناريوهات اختبار مولدة، ثم تفرض السياسة في وقت التشغيل على كل استدعاء لأداة. النتيجة هي وكيل يمكنه العمل بشكل مستقل ضمن الحدود التي تحددها بلغة طبيعية.

– الوكيل غير موثوق. تفترض IronCurtain أن LLM قد يتم اختراقه عن طريق حقن التعليمات.