بناء مصنف قاعدة كود باستخدام Jev
يشارك مطور بناء مصنف قاعدة كود باستخدام Jev، ويقترح أنه قد يحل مشكلة الكود المفرط الهندسة من الوكلاء، ويسأل عما يجب اختباره بعد ذلك.
معيار Jev 1.13.0: قريب من Winnow-12B
تُظهر مقارنة Benchmark Heaven أن Jev 1.13.0 يكاد يكون على مستوى Winnow-12B Q8 في الدقة العامة والتكلفة، مع تقدم Jev في المعايرة والنتيجة.
Winnow-12B Q8 (#4) and Jev 1.13.0 (#1) are nearly level on public accuracy, 85.7% vs 86.6%, and on Cost, 52.9 vs 52.0. The gap is confidence. Calibration 64.8 vs 76.3; sealed set 33.1% vs 36.7%. Score 55.58 vs 63.29. https://benchmarkheaven.com/jev-models/v1.4.1?compare=jev-1.13.0,winnow-12b…
· 0 likesOpen on X
More like this
Jev يتيح LLM-as-a-Judge بسرعة 20–200 ضعف وتكلفة أقل 40–400 ضعف
تم استخدام Jev لاختيار النموذج الذي يمثل AGI، مع سرعة 20–200 ضعف وتكلفة أقل 40–400 ضعف، مما يجعل LLM-as-a-judge سريعًا للغاية وشبه مجاني.
اختبار التطبيقات باستخدام TypeSafe Jev وOpenCode
يشارك Filip عرضًا صغيرًا يوضح سرعة اختبار التطبيقات باستخدام TypeSafe Jev وOpenCode.
