تطوير استراتيجية فعالة للحد من تصرفات الذكاء الاصطناعي الخارجة عن السيطرة

توجهات جديدة في أمان الذكاء الاصطناعي

تسعى الشركات الناشئة إلى معالجة المخاوف المتزايدة حول الذكاء الاصطناعي، خاصة بعد استقالة الباحث جاكوب كوكسان من شركة أنثروبيك بسبب مخاوف تتعلق بقدرة الذكاء الاصطناعي على إحداث أضرار جسيمة. يعتقد المؤسسان، روني كفيست وراجيف داتاني، أن لديهم الحل الذي قد يساهم في تقليل المخاطر المرتبطة بالذكاء الاصطناعي داخل المؤسسات.

يقول كفيست، الذي كان من أوائل موظفي أنثروبيك: “الذكاء الاصطناعي يتطور بسرعة متزايدة. المفاجئ هو أن السيطرة عليه تصبح أصعب مع زيادة ذكائه.” داتاني، الذي شغل منصب المدير التنفيذي للعمليات في منظمة METR لأبحاث سلامة الذكاء الاصطناعي، يشارك نفس القلق.

إطلاق شركة AIUC

أسس الثنائي شركة جديدة تُدعى “شركة تأمين الذكاء الاصطناعي” (AIUC)، التي تهدف إلى تعزيز سلامة الذكاء الاصطناعي في المؤسسات والشركات التي تطور نماذج وعوامل الذكاء الاصطناعي. تشمل قائمة عملائهم شركات مثل Cursor وLovable وHarvey وElevenLabs.

في يوم الثلاثاء، أعلنت AIUC عن جمع 40 مليون دولار في جولة تمويل من الفئة A بقيادة Ribbit Capital، مع مشاركة من First Harmonic. كما أغلقت جولة تمويل أولية بقيمة 15 مليون دولار من نات فريدمان عبر صندوقه NFDG، مما يرفع إجمالي تمويلها إلى 55 مليون دولار.

نموذج الأمان الجديد

ما جذب انتباه المستثمرين هو محاولة AIUC تطبيق نموذج أمان سيبراني معروف على مجموعة جديدة من المخاطر المرتبطة بالذكاء الاصطناعي. قامت الشركة بتطوير طبقة تدقيق وشهادة للجهات الخارجية لعوامل الذكاء الاصطناعي.

يقول كفيست: “البنوك والمستشفيات والحكومات لم تعد تتردد في نشر الذكاء الاصطناعي بسبب عدم كفاءة النموذج، بل لأنهم قدموا التزامات لعملائهم حول ما يمكن وما لا يمكن أن يفعله النظام، ولا يمكن لأحد ضمان ذلك حاليًا.”

استلهمت AIUC من المعيار السيبراني المعروف SOC 2 لتطوير معيار خاص بها يسمى AIUC-1، بالإضافة إلى خدمة اختبار للتحقق من أداء العوامل وفقًا لهذا المعيار.

التعاون مع قادة الأمان

لتطوير المعيار، شكلت AIUC اتحادًا يضم حوالي 250 من قادة الأمان والمخاطر، الذين يمثلون المشترين لعوامل الذكاء الاصطناعي. يقول داتاني: “نلتقي بهم شهريًا ونسألهم: ما الذي تبحثون عنه عند شراء عوامل الذكاء الاصطناعي؟ ما الأسئلة التي تودون طرحها؟ وما الذي تودون رؤيته؟”

تشكل هذه الملاحظات الاختبارات التي تجريها الشركة. تقوم AIUC بتشغيل عوامل الذكاء الاصطناعي من خلال مجموعة من حوالي 5000 اختبار لتقييم سلوكها في سيناريوهات تتعلق بالاختراقات والتخيلات وتسريبات البيانات. تنتج هذه الاختبارات تقريرًا مفصلًا يتكون من حوالي 100 صفحة يوضح أداء العوامل في جوانب معينة.

التوجهات المستقبلية

على الرغم من أن AIUC لا تقترح أن تتواجد بشكل دائم في مواقع العملاء، فإن الفكرة العامة مشابهة: توفير تقييم مستقل لمدى أمان عوامل الذكاء الاصطناعي. يقول داتاني: “إليكم الأماكن التي يمكن الوثوق بها، وأين توجد المخاوف. يجب أن تكونوا على دراية بهذه الملاحظات قبل اتخاذ قرار الشراء.”