في المنتدى الخاص بأبحاث الشركة في شهر يناير، قدم الباحث في مختبر أبحاث مايكروسوفت، ديبندرا ميسرا، شرحًا حول كيفية زيادة دقة النماذج اللغوية الكبيرة من خلال تقنية تقليل رتبة الطبقة الانتقائية LASER.
وتمكن الباحثون من خلال استخدام تقنية لتقليل تعقيد الطبقة الانتقائية من تعديل واستبدال مصفوفة وزن كبيرة بمصفوفة وزن أصغر.
تعتبر الأوزان عنصرًا رئيسيًا يلعب دورًا حاسمًا في قدرة الشبكات العصبونية الاصطناعية على التعلم والتنبؤ.
تشابه الأوزان في الشبكات العصبونية الاصطناعية المشابك العصبية في الشبكات العصبية الحيوية.
زيادة حجم الوزن يزيد من اعتماد النموذج اللغوي الكبير على الوزن. ووفقًا لاختبارات مايكروسوفت، فإن استبدال مصفوفة الوزن الكبيرة بأخرى صغيرة لا يؤثر على دقة النموذج اللغوي الكبير.
وقال ميسرا: “من المتوقع أن تزيد خسارة النموذج أثناء التدخل باستخدام تقنية تقليل رتبة الطبقة الانتقائية في النموذج اللغوي الكبير، وهذا يعني أن أداء النموذج قد يتأثر سلباً بسبب تقليص المعلومات فيه، حيث تم تدريبه على كميات كبيرة من البيانات”.
وقد أكد أن فقدان النموذج اللغوي الكبير ينخفض بالتدخل الصحيح باستخدام تقنية تقليل رتبة الطبقة الانتقائية.
ونجح فريق مايكروسوفت في استخدام تقنية تقليل رتبة الطبقة الانتقائية بنجاح في ثلاثة نماذج لغوية مختلفة وكبيرة مفتوحة المصدر، وهي RoBERTa و Llama 2 و GPT-J.
تحسن النموذج اللغوي الكبير بنسبة 30% في بعض الحالات. وزاد أداء النموذج اللغوي الكبير المفتوح المصدر GPT-J في التنبؤ بالجنس من السيرة الذاتية من دقة 70.9% إلى دقة 97.5% بعد استخدام تقنية تقليل رتبة الطبقة الانتقائية.
نماذج الذكاء الاصطناعي ترتكب أخطاء واقعية كثيرة، مما يجعل دقة النماذج اللغوية الكبيرة سبب قلق.
لا يتم التعامل مع مشكلة الهلوسة بالخوف، إذ لا علاقة لها بالفهم الخاطئ للأمور بل تتعلق بخلق أشياء غير موجودة.
تسببت الهلوسة والنماذج الغير دقيقة للذكاء الاصطناعي في أذى كبير.
