بناء مصنف قاعدة كود باستخدام Jev
يشارك مطور بناء مصنف قاعدة كود باستخدام Jev، ويقترح أنه قد يحل مشكلة الكود المفرط الهندسة من الوكلاء، ويسأل عما يجب اختباره بعد ذلك.
Jev يكتشف 6/7 عيوب بسرعة 25 ضعفاً
وفقًا للمنشور، التقط Jev 6/7 من المشكلات المزروعة في اختبار العيوب في Every (مقابل 7/7 لـ Fable 5.1) بسرعة أكبر بنحو 25 مرة. يوصي المؤلف بتثبيت jev-1.13.0، وتسجيل log probs والإصدار في كل استدعاء، وإعادة معايرة العتبات على الملصقات الخاصة بك.
In Every's defect test (@danshipper) Jev caught 6/7 planted issues vs 7/7 for Fable 5.1, at ~25x the speed. Pin jev-1.13.0, log probs + version on every call, recalibrate thresholds on your own labels. https://every.to/vibe-check/mini-vibe-check-typesafe-s-jev-judged-everything-i-ve-written-in-0-7-seconds…
· 0 likesOpen on X
More like this
Jev يتيح LLM-as-a-Judge بسرعة 20–200 ضعف وتكلفة أقل 40–400 ضعف
تم استخدام Jev لاختيار النموذج الذي يمثل AGI، مع سرعة 20–200 ضعف وتكلفة أقل 40–400 ضعف، مما يجعل LLM-as-a-judge سريعًا للغاية وشبه مجاني.
اختبار التطبيقات باستخدام TypeSafe Jev وOpenCode
يشارك Filip عرضًا صغيرًا يوضح سرعة اختبار التطبيقات باستخدام TypeSafe Jev وOpenCode.
