- 👉🏻 **Llama 4: سلسلة جديدة من نماذج الذكاء الاصطناعي مفتوحة المصدر من Meta.**
- 👉🏻 **تتفوق Llama 4 على نماذج أخرى في الاستدلال والترميز والمهام متعددة الوسائط.**
- 👉🏻 **تستخدم Llama 4 تقنية "مزيج الخبراء" (MoE) لتحسين الكفاءة.**
- 👉🏻 **Meta تركز على السلامة وتقليل التحيز السياسي في Llama 4.**
- 👉🏻 **Llama 4 تقدم بديلاً مفتوحًا تنافسيًا للنماذج الاحتكارية.**
شهد مشهد الذكاء الاصطناعي تحولًا جذريًا في يناير 2025، بعد أن أطلقت شركة DeepSeek الصينية الناشئة (وهي شركة تابعة لشركة High-Flyer Capital Management للتحليل الكمي ومقرها هونغ كونغ) نموذجها اللغوي القوي مفتوح المصدر DeepSeek R1 للعالم، متفوقة بذلك على عمالقة الولايات المتحدة مثل ميتا.
مع الانتشار السريع لاستخدام DeepSeek بين الباحثين والمؤسسات، ورد أن ميتا دخلت في حالة من الذعر عندما علمت أن نموذج R1 الجديد قد تم تدريبه بجزء صغير من تكلفة العديد من النماذج الرائدة الأخرى، ولكنه تفوق عليها مقابل بضعة ملايين من الدولارات فقط - وهو ما تدفعه لبعض قادة فرق الذكاء الاصطناعي الخاصة بها.
حتى ذلك الحين، كانت استراتيجية ميتا الكاملة للذكاء الاصطناعي التوليدي تعتمد على إطلاق أفضل النماذج مفتوحة المصدر تحت علامتها التجارية "Llama " للباحثين والشركات للبناء عليها بحرية (على الأقل، إذا كان لديهم أقل من 700 مليون مستخدم شهريًا، وفي هذه الحالة يفترض بهم الاتصال بميتا للحصول على شروط ترخيص مدفوعة خاصة).
ومع ذلك، فإن الأداء الجيد المذهل لـ DeepSeek R1 بميزانية أصغر بكثير قد هز قيادة الشركة وأجبرها على نوع من المراجعة، حيث تم إصدار النسخة الأخيرة من Llama، 3.3 ، قبل شهر واحد فقط في ديسمبر 2024، ولكنها بدت بالفعل قديمة.
الآن نحن نعرف ثمار تلك المراجعة: اليوم، نشر مارك زوكربيرج، المؤسس والرئيس التنفيذي لشركة ميتا، على حسابه على انستغرام إعلانًا عن سلسلة نماذج Llama 4 جديدة ، مع اثنين منها - Llama 4 Maverick بـ 400 مليار معلمة و Llama 4 Scout بـ 109 مليار معلمة - متاحان اليوم للمطورين لتنزيلهما والبدء في استخدامهما أو ضبطهما الآن على llama.com ومجتمع مشاركة أكواد الذكاء الاصطناعي Hugging Face .
كما يتم عرض Llama 4 Behemoth الضخم بـ 2 تريليون معلمة اليوم، على الرغم من أن منشور ميتا على المدونة حول الإصدارات ذكر أنه لا يزال قيد التدريب، ولم يعط أي إشارة إلى متى قد يتم إصداره. (تذكر أن المعلمات تشير إلى الإعدادات التي تحكم سلوك النموذج، وبشكل عام تعني المزيد نموذجًا أكثر قوة وتعقيدًا من جميع النواحي).
إحدى الميزات الرئيسية لهذه النماذج هي أنها جميعها متعددة الوسائط - تم تدريبها على، وبالتالي، قادرة على استقبال وإنشاء النصوص والفيديو والصور (على الرغم من عدم ذكر الصوت).
ميزة أخرى هي أن لديها نوافذ سياق طويلة بشكل لا يصدق - مليون رمز لـ Llama 4 Maverick و 10 ملايين لـ Llama 4 Scout - وهو ما يعادل حوالي 1500 و 15000 صفحة من النص، على التوالي، والتي يمكن للنموذج التعامل معها جميعًا في تفاعل إدخال / إخراج واحد. هذا يعني أنه يمكن للمستخدم نظريًا تحميل أو لصق ما يصل إلى 7500 صفحة من النص واستقبال هذا القدر في المقابل من Llama 4 Scout، والذي سيكون مفيدًا للمجالات الغنية بالمعلومات مثل الطب والعلوم والهندسة والرياضيات والأدب وما إلى ذلك.
إليكم ما تعلمناه أيضًا عن هذا الإصدار حتى الآن:
التركيز الكامل على مزيج الخبراء
تستخدم جميع النماذج الثلاثة نهج "مزيج الخبراء (MoE)" الذي تم تعميمه في إصدارات النماذج السابقة من OpenAI و Mistral ، والذي يجمع بشكل أساسي بين نماذج أصغر متعددة متخصصة ("خبراء") في مهام وموضوعات وتنسيقات وسائط مختلفة في نموذج موحد وكبير. يقال إن كل إصدار من Llama 4 هو بالتالي مزيج من 128 خبيرًا مختلفًا، وأكثر كفاءة في التشغيل لأنه يتم التعامل مع كل رمز فقط من قبل الخبير المطلوب لمهمة معينة، بالإضافة إلى خبير "مشترك"، بدلاً من اضطرار النموذج بأكمله إلى التشغيل لكل رمز.
كما يشير منشور مدونة Llama 4:
نتيجة لذلك، على الرغم من تخزين جميع المعلمات في الذاكرة، يتم تنشيط مجموعة فرعية فقط من إجمالي المعلمات أثناء خدمة هذه النماذج. يؤدي هذا إلى تحسين كفاءة الاستدلال عن طريق خفض تكاليف خدمة النموذج وزمن الوصول - يمكن تشغيل Llama 4 Maverick على مضيف [Nvidia] H100 DGX واحد لسهولة النشر، أو مع الاستدلال الموزع لتحقيق أقصى قدر من الكفاءة.
يتوفر كل من Scout و Maverick للجمهور للاستضافة الذاتية، في حين لم يتم الإعلان عن أي API مستضاف أو مستويات تسعير للبنية التحتية الرسمية لـ Meta. بدلاً من ذلك، تركز Meta على التوزيع من خلال التنزيل المفتوح والتكامل مع Meta AI في WhatsApp و Messenger و Instagram والويب.
تقدر Meta تكلفة الاستدلال لـ Llama 4 Maverick بمبلغ 0.19 دولارًا إلى 0.49 دولارًا لكل مليون رمز (باستخدام مزيج 3: 1 من الإدخال والإخراج). وهذا يجعلها أرخص بكثير من النماذج الاحتكارية مثل GPT-4o، والتي تقدر تكلفتها بمبلغ 4.38 دولارات لكل مليون رمز، بناءً على معايير المجتمع.
الاستدلال المدمج وتقنية تدريب جديدة أكثر كفاءة وغير حساسة للحجم: MetaP!
تم تصميم جميع نماذج Llama 4 الثلاثة - وخاصة Maverick و Behemoth - بشكل صريح للاستدلال والترميز وحل المشكلات خطوة بخطوة - على الرغم من أنها لا يبدو أنها تظهر سلاسل الأفكار لنماذج الاستدلال المخصصة مثل سلسلة OpenAI "o"، ولا DeepSeek R1.
بدلاً من ذلك، يبدو أنها مصممة للتنافس بشكل مباشر مع LLMs "الكلاسيكية" غير المنطقية والنماذج متعددة الوسائط مثل GPT-4o من OpenAI و V3 من DeepSeek - باستثناء Llama 4 Behemoth، الذي يبدو أنه يهدد DeepSeek R1 (المزيد عن هذا أدناه!)
بالإضافة إلى ذلك، بالنسبة إلى Llama 4، قامت Meta ببناء مسارات مخصصة بعد التدريب تركز على تحسين الاستدلال، مثل:
- إزالة أكثر من 50٪ من المطالبات "السهلة" أثناء الضبط الدقيق الخاضع للإشراف.
- اعتماد حلقة تعلم تعزيز مستمرة مع مطالبات أصعب تدريجيًا.
- استخدام تقييم pass@k وأخذ عينات المناهج الدراسية لتقوية الأداء في الرياضيات والمنطق والترميز.
- تنفيذ MetaP، وهي تقنية جديدة تتيح للمهندسين ضبط المعلمات الفائقة (مثل معدلات التعلم لكل طبقة) على النماذج وتطبيقها على أحجام وأنواع أخرى من الرموز مع الحفاظ على سلوك النموذج المقصود.
MetaP ذات أهمية خاصة حيث يمكن استخدامها للمضي قدمًا لتعيين المعلمات الفائقة على نموذج واحد ثم الحصول على العديد من الأنواع الأخرى من النماذج منه، مما يزيد من كفاءة التدريب.
كما صرح زميلي في VentureBeat وخبير LLM Ben Dickson عن تقنية MetaP الجديدة: "يمكن أن يوفر هذا الكثير من الوقت والمال. هذا يعني أنهم يجرون تجارب على النماذج الأصغر بدلاً من إجرائها على النماذج واسعة النطاق."
هذا أمر بالغ الأهمية بشكل خاص عند تدريب نماذج كبيرة مثل Behemoth، التي تستخدم 32 ألف وحدة معالجة رسومات ودقة FP8، وتحقق 390 TFLOPs / GPU على أكثر من 30 تريليون رمز - أي أكثر من ضعف بيانات تدريب Llama 3.
بعبارة أخرى: يمكن للباحثين إخبار النموذج على نطاق واسع كيف يريدون أن يتصرف، وتطبيق ذلك على إصدارات أكبر وأصغر من النموذج، وعبر أشكال مختلفة من الوسائط.
عائلة نماذج قوية - ولكن ليست الأقوى بعد
في فيديو الإعلان على انستغرام (إحدى الشركات التابعة لـ Meta، بطبيعة الحال)، قال مارك زوكربيرج، الرئيس التنفيذي لشركة Meta، إن "هدف الشركة هو بناء الذكاء الاصطناعي الرائد في العالم، وفتحه كمصدر مفتوح، وجعله متاحًا عالميًا حتى يستفيد منه الجميع في العالم ... لقد قلت لفترة من الوقت إنني أعتقد أن الذكاء الاصطناعي مفتوح المصدر سيصبح النماذج الرائدة، ومع Llama 4، بدأ هذا يحدث."
إنه بيان مصاغ بعناية بوضوح، كما هو الحال في منشور مدونة Meta الذي يصف Llama 4 Scout بأنه "أفضل نموذج متعدد الوسائط في العالم في فئته وهو أقوى من جميع نماذج Llama من الجيل السابق" (التأكيد مني).
بعبارة أخرى، هذه نماذج قوية جدًا، بالقرب من قمة الكومة مقارنة بالنماذج الأخرى في فئة حجم المعلمات الخاصة بها، ولكنها لا تسجل بالضرورة أرقامًا قياسية جديدة في الأداء. ومع ذلك، كانت Meta حريصة على الترويج للنماذج التي تتفوق عليها عائلة Llama 4 الجديدة، من بينها:
Llama 4 Behemoth
-
يتفوق على GPT-4.5 و Gemini 2.0 Pro و Claude Sonnet 3.7 في:
- MATH-500 (95.0)
- GPQA Diamond (73.7)
- MMLU Pro (82.2)
Llama 4 Maverick
-
يتفوق على GPT-4o و Gemini 2.0 Flash في معظم معايير الاستدلال متعدد
الوسائط:
- ChartQA، DocVQA، MathVista، MMMU
- منافس لـ DeepSeek v3.1 (45.8 مليار معلمة) مع استخدام أقل من نصف المعلمات النشطة (17 مليار)
-
نتائج المعايير:
- ChartQA: 90.0 (مقابل 85.7 لـ GPT-4o)
- DocVQA: 94.4 (مقابل 92.8)
- MMLU Pro: 80.5
- فعال من حيث التكلفة: 0.19 دولارًا - 0.49 دولارًا لكل مليون رمز
Llama 4 Scout
-
يطابق أو يتفوق على نماذج مثل Mistral 3.1 و Gemini 2.0 Flash-Lite و Gemma 3
في:
- DocVQA: 94.4
- MMLU Pro: 74.3
- MathVista: 70.7
- طول سياق غير مسبوق يبلغ 10 ملايين رمز - مثالي للمستندات الطويلة أو قواعد التعليمات البرمجية أو التحليل متعدد الأدوار
- مصمم للنشر الفعال على وحدة معالجة رسومات H100 واحدة
ولكن بعد كل ذلك، كيف تقارن Llama 4 بـ DeepSeek؟
بالطبع، هناك فئة كاملة أخرى من النماذج التي تركز على الاستدلال بشكل كبير مثل DeepSeek R1، وسلسلة OpenAI "o" (مثل GPT-4o)، و Gemini 2.0، و Claude Sonnet.
باستخدام النموذج الأعلى معلمات الذي تم قياسه - Llama 4 Behemoth - ومقارنته بـ مخطط إصدار DeepSeek R1 الأولي لنماذج R1-32B و OpenAI o1، إليك كيفية مقارنة Llama 4 Behemoth:
ما الذي يمكن أن نستنتجه؟
- MATH-500: Llama 4 Behemoth متخلف قليلاً عن DeepSeek R1 و OpenAI o1.
- GPQA Diamond: Behemoth متقدم على DeepSeek R1، ولكنه متخلف عن OpenAI o1.
- MMLU: Behemoth يتخلف عن كليهما، ولكنه لا يزال يتفوق على Gemini 2.0 Pro و GPT-4.5.
الخلاصة: بينما يتفوق DeepSeek R1 و OpenAI o1 على Behemoth في بعض المقاييس، يظل Llama 4 Behemoth تنافسيًا للغاية ويؤدي عند أو بالقرب من قمة لوحة المتصدرين للاستدلال في فئته.
السلامة وتحيز سياسي أقل
أكدت Meta أيضًا على توافق النموذج وسلامته من خلال تقديم أدوات مثل Llama Guard و Prompt Guard و CyberSecEval لمساعدة المطورين على اكتشاف الإدخال / الإخراج غير الآمن أو المطالبات العدائية، وتنفيذ اختبار الوكيل الهجومي التوليدي (GOAT) للفريق الأحمر الآلي.
تدعي الشركة أيضًا أن Llama 4 يظهر تحسنًا كبيرًا في "التحيز السياسي" وتقول "على وجه التحديد، [LLMs الرائدة] مالت تاريخيًا إلى اليسار عندما يتعلق الأمر بالموضوعات السياسية والاجتماعية المتنازع عليها"، وأن Llama 4 يبلي بلاءً أفضل في مغازلة اليمين ... بما يتماشى مع احتضان زوكربيرج للرئيس الجمهوري الأمريكي دونالد جيه ترامب وحزبه بعد انتخابات عام 2024.
أين تقف Llama 4 حتى الآن
تجمع نماذج Llama 4 من Meta بين الكفاءة والانفتاح والأداء المتطور عبر المهام متعددة الوسائط والاستدلال.
مع توفر Scout و Maverick الآن للجمهور ومعاينة Behemoth كنموذج تعليمي حديث، فإن نظام Llama البيئي في وضع يسمح له بتقديم بديل مفتوح تنافسي للنماذج الاحتكارية عالية المستوى من OpenAI و Anthropic و DeepSeek و Google.
سواء كنت تقوم ببناء مساعدين على نطاق المؤسسات، أو خطوط أنابيب بحث الذكاء الاصطناعي، أو أدوات تحليل السياق الطويل، فإن Llama 4 تقدم خيارات مرنة وعالية الأداء مع توجه واضح نحو التصميم القائم على الاستدلال أولاً.
في الختام، تمثل سلسلة Llama 4 خطوة مهمة إلى الأمام في مجال الذكاء الاصطناعي مفتوح المصدر، حيث تقدم أداءً متميزًا وتنوعًا في المهام مع التركيز على الكفاءة والسلامة. إن توفر هذه النماذج للجمهور سيساهم في تسريع وتيرة الابتكار في مجال الذكاء الاصطناعي، مما يتيح للمطورين والباحثين بناء تطبيقات جديدة ومبتكرة. يمكنكم الاطلاع على المزيد حول نماذج اللغة الكبيرة و الذكاء الاصطناعي مفتوح المصدر للحصول على فهم أعمق لهذا المجال المتطور.
