في إعلان مشترك، كشفت Mistral AI بالتعاون مع NVIDIA عن نموذج NeMo الجديد بسعة 12 مليار معلمة. يتميز هذا النموذج بقدرة مذهلة على معالجة سياقات تصل إلى 128,000 رمز، مع أداء رائد في مجالات التفكير، المعرفة العالمية، ودقة الترميز.
تأتي هذه الشراكة بين Mistral AI وNVIDIA لتقديم نموذج يتجاوز الحدود التقليدية للأداء، مع التركيز على سهولة الاستخدام. صُمم Mistral NeMo ليكون بديلاً سلساً للأنظمة التي تستخدم حالياً نموذج Mistral 7B، بفضل اعتماده على بنية معيارية.
لتشجيع الاعتماد والمزيد من الأبحاث، قدمت Mistral AI نقاط التحقق المدربة مسبقاً والمحسنة للتعليمات بموجب رخصة Apache 2.0 المفتوحة المصدر. هذا النهج المفتوح من المتوقع أن يجذب الباحثين والشركات على حدٍ سواء، مما قد يسرع من دمج النموذج في تطبيقات متنوعة.
أحد الميزات الرئيسية لنموذج Mistral NeMo هو الوعي بالتكميم أثناء التدريب، مما يتيح التنبؤ بـ FP8 دون التأثير على الأداء. هذه القدرة قد تكون حاسمة للمنظمات التي تسعى لنشر نماذج لغة كبيرة بكفاءة عالية.
قدمت Mistral AI مقارنات أداء بين نموذج Mistral NeMo الأساسي ونموذجين مفتوحي المصدر حديثين: Gemma 2 9B وLlama 3 8B.
وذكرت Mistral AI: “تم تصميم النموذج للتطبيقات العالمية والمتعددة اللغات. تم تدريبه على استدعاء الوظائف، ويحتوي على نافذة سياق كبيرة، ويتمتع بقوة خاصة في اللغات الإنجليزية، الفرنسية، الألمانية، الإسبانية، الإيطالية، البرتغالية، الصينية، اليابانية، الكورية، العربية، والهندية.”
وأضافت: “هذه خطوة جديدة نحو جلب نماذج الذكاء الاصطناعي المتقدمة إلى أيدي الجميع بجميع اللغات التي تشكل الثقافة الإنسانية.”
يقدم Mistral NeMo المرمز الجديد Tekken، الذي يعتمد على Tiktoken. تم تدريبه على أكثر من 100 لغة، ويوفر كفاءة ضغط محسنة لكل من النصوص الطبيعية وشيفرات البرمجة مقارنة بالمرمز SentencePiece المستخدم في النماذج السابقة. وأفادت الشركة أن Tekken أكثر كفاءة بنسبة 30% في ضغط شيفرات البرمجة والعديد من اللغات الرئيسية، مع تحقيق مكاسب كبيرة بشكل خاص في اللغتين الكورية والعربية.
تدعي Mistral AI أيضًا أن Tekken يتفوق على مرمز Llama 3 في ضغط النصوص لحوالي 85% من جميع اللغات، مما قد يمنح Mistral NeMo ميزة في التطبيقات المتعددة اللغات.
تتوفر أوزان النموذج الآن على منصة HuggingFace بنسختيها الأساسية والمحسنة للتعليمات. يمكن للمطورين بدء التجربة مع Mistral NeMo باستخدام أداة mistral-inference وتكييفها باستخدام mistral-finetune. ولمن يستخدمون منصة Mistral، يمكن الوصول إلى النموذج تحت اسم open-mistral-nemo.
وفي إشارة إلى التعاون مع NVIDIA، يتوفر Mistral NeMo أيضًا كخدمة ميكروية للتنبؤ تحت اسم NVIDIA NIM، متاحة عبر ai.nvidia.com. يمكن أن تسهل هذه التكاملية نشر النموذج للمنظمات التي تستثمر بالفعل في نظام NVIDIA البيئي للذكاء الاصطناعي.
يمثل إصدار Mistral NeMo خطوة كبيرة نحو ديمقراطية نماذج الذكاء الاصطناعي المتقدمة. من خلال الجمع بين الأداء العالي، القدرات المتعددة اللغات، والتوافر المفتوح المصدر، تضع Mistral AI وNVIDIA هذا النموذج كأداة متعددة الاستخدامات لمجموعة واسعة من التطبيقات عبر الصناعات وميادين البحث المختلفة.
