Jev يتفوق على Gemini 2.5 Flash Lite في جودة وسرعة تقييم المصنف
شغّل Malte Ubl نموذج Jev من TypeSafe AI على تقييم مصنف موجود، فحقق تشبعًا في الجودة وكان أسرع 6 مرات من Gemini 2.5 Flash Lite.
معايير Jev: تقييم الدقة مقابل المعايرة
أظهر تقييم Jev وتسع نقاط تحقق مفتوحة عبر 22 مهمة أن Jev يتقدم في الدقة الكلية، لكن نموذجًا مفتوحًا بحجم 4B ينتج احتمالات أفضل معايرة؛ وjev-bench مفتوح بالكامل.
Jev Tests: Accuracy gave one ranking. Calibration gave another. We evaluated Jev and nine open checkpoints across 22 tasks. Jev led on macro accuracy. But an open 4B model produced better-calibrated probabilities. jev-bench is fully open 👇
· 0 likesOpen on X
More like this
تصنيف سريع للصفوف في DuckDB باستخدام Jev
أصدر المؤلف إضافة DuckDB تستخدم Jev من TypeSafe AI لتصنيف الصفوف بسرعة في ملفات CSV/Parquet أو جداول DuckDB، حوالي 10 ثوانٍ لـ 1k صف، أسرع من LLM وأسهل من المصنف.
تصنيف 1018 ورقة بحثية في الذكاء الاصطناعي باستخدام Jev بتكلفة 0.08 دولار
لخّص المؤلف كل ورقة باستخدام DeepSeek V4 Flash، ثم أرسل العنوان والملخص و24 موضوعًا محتملًا إلى Jev للتصنيف، فتمت معالجة 1018 ورقة بحثية في الذكاء الاصطناعي بتكلفة إجمالية 0.08 دولار وزمن استجابة وسيط 256 مللي ثانية لكل ورقة.
