تقوم جوجل بإجراء تغييرات جوهرية على كيفية اختبار وتقييم نماذج الذكاء الاصطناعي المخصصة لبرمجة تطبيقات أندرويد، وذلك في أعقاب صدور التصنيفات الجديدة التي أظهرت تفوق نموذج Fable 5 بشكل ملحوظ.
ملخص المقال: أعلنت جوجل عن تحديث آلية تقييم نماذج الذكاء الاصطناعي عبر اعتماد إطار عمل "Harbor" الموحد، مما يتيح للمطورين مشاركة المهام وتقييم أداء النماذج بدقة أكبر، مع تصدر نموذج Claude Fable 5 لقائمة الأداء الجديدة.
- ✅ اعتماد إطار عمل Harbor الموحد لتقييم دقة البرمجة.
- ✅ إتاحة الفرصة للمجتمع البرمجي للمساهمة في تطوير معايير الاختبار.
- ✅ تصدر Claude Fable 5 قائمة الأداء الجديدة متفوقاً على المنافسين.
- ✅ تحديث شامل لنتائج جميع النماذج السابقة بناءً على القواعد الجديدة.
أطلقت جوجل في وقت سابق من هذا العام نظام Android Bench ليكون بمثابة مرجع سريع لتصنيف أفضل نماذج الذكاء الاصطناعي. وعلى الرغم من أن هذا النظام ليس تصنيفاً عاماً، إلا أنه أثبت كونه أداة بالغة الأهمية للمطورين الذين يبحثون عن كفاءة أعلى في كتابة الأكواد الخاصة بنظام أندرويد.
تحول جذري في منهجية التقييم
أكدت جوجل وجود تغييرات قادمة في كيفية ترتيب هذه النماذج، حيث يتم الانتقال إلى نظام التقييم القياسي المسمى "Harbor". في السابق، كانت النماذج مثل GPT-5.5 وClaude Opus 4.7 وGemini 3.1 Pro Preview تُصنف بناءً على أداة "mini-swe-agent v1" المصممة للاستخدامات العامة، وهو ما لم يكن يعكس بدقة متطلبات تطوير تطبيقات أندرويد المتخصصة.
إن الانتقال إلى إطار عمل Harbor يمنح مطوري أندرويد القدرة على استخدام نفس الأدوات الموحدة لتحليل أداء النماذج في حالات استخدام محددة. علاوة على ذلك، تفتح جوجل الباب أمام المستخدمين الراغبين في تقديم مهام برمجة أندرويد ليتم اختبار النماذج عليها، مما يعزز من شفافية ومصداقية النتائج.
لقد قدرنا منذ البداية النهج المفتوح والشفاف، ولهذا السبب جعلنا منهجيتنا الأصلية وأدوات الاختبار متاحة للجمهور على GitHub. والآن، نمنح مجتمع مطوري أندرويد الفرصة للمشاركة في تشكيل وتطوير Android Bench.
Claude Fable 5 يتصدر المشهد
مع تطبيق المعايير الجديدة، تمت إعادة تقييم جميع النماذج، سواء ذات الأوزان المغلقة أو المفتوحة. وقد جاءت النتائج لتضع نموذج Claude Fable 5 في صدارة القائمة بفارق مريح، حيث حصل على تقييم 84.5، متفوقاً بفارق 4 نقاط على GPT-5.5 الذي جاء في المرتبة الثانية.
| النموذج | النتيجة | متوسط الاستجابة | متوسط التكلفة |
|---|---|---|---|
| Claude Fable 5 | 84.5 | 8.0 | $133.2 |
| GPT 5.5 | 80.2 | 15.7 | $138.3 |
| Claude Sonnet 5 | 76.2 | 12.3 | $99.9 |
| GPT 5.4 | 74.1 | 8.4 | $83.4 |
| Gemini 3.1 Pro Preview | 73.7 | 10.6 | $87.4 |
ما هو إطار عمل Harbor؟
هو إطار عمل تقني قياسي تعتمده جوجل حالياً لتقييم أداء نماذج الذكاء الاصطناعي في مهام البرمجة، مما يوفر بيئة اختبار موحدة وأكثر دقة للمطورين.
لماذا تم تغيير تصنيفات النماذج؟
تم تغيير التصنيفات لأن منهجية الاختبار الأساسية تغيرت من استخدام أدوات عامة إلى استخدام إطار عمل "Harbor" المتخصص، مما تطلب إعادة تقييم شاملة لكافة النماذج.
هل يمكن للمطورين المساهمة في Android Bench؟
نعم، تدعو جوجل المطورين للمشاركة من خلال تقديم مهام برمجة أندرويد خاصة بهم، والتي تُستخدم لاحقاً لاختبار قدرة النماذج على التعامل مع سيناريوهات تطوير حقيقية.
🔎 في الختام، يمثل توجه جوجل نحو نظام تقييم مفتوح وقابل للتطوير خطوة هامة نحو تعزيز جودة البرمجيات المدعومة بالذكاء الاصطناعي. ومن خلال إشراك المجتمع التقني في عملية الاختبار عبر إطار Harbor، تضمن الشركة بقاء أدوات التطوير في مواكبة دائمة لأحدث التطورات في عالم النماذج اللغوية الكبيرة.
قم بالتعليق على الموضوع