بناء مصنف قاعدة كود باستخدام Jev
يشارك مطور بناء مصنف قاعدة كود باستخدام Jev، ويقترح أنه قد يحل مشكلة الكود المفرط الهندسة من الوكلاء، ويسأل عما يجب اختباره بعد ذلك.
استخدام Jev لتقييم نماذج اللغة
يشير Hamel Husain إلى إمكانية استخدام Jev لتقييم نماذج اللغة، لأن LLM Judge هو في الأساس مصنّف، وينصح باختبار المصنّفات مقابل التسميات البشرية وتجنب الإفراط في التخصيص.
Can you use Jev for Evals? Yes! Remember that a LLM Judge is also classifier*. Make sure to test your classifiers against human labels and don't overfit. Hope this helps! * https://hamel.dev/blog/posts/evals-faq/why-do-you-recommend-binary-passfail-evaluations-instead-of-1-5-ratings-likert-scales.html…
· 130 likesOpen on X
More like this
Jev يتيح LLM-as-a-Judge بسرعة 20–200 ضعف وتكلفة أقل 40–400 ضعف
تم استخدام Jev لاختيار النموذج الذي يمثل AGI، مع سرعة 20–200 ضعف وتكلفة أقل 40–400 ضعف، مما يجعل LLM-as-a-judge سريعًا للغاية وشبه مجاني.
اختبار التطبيقات باستخدام TypeSafe Jev وOpenCode
يشارك Filip عرضًا صغيرًا يوضح سرعة اختبار التطبيقات باستخدام TypeSafe Jev وOpenCode.
