Jev يتفوق على Gemini 2.5 Flash Lite في جودة وسرعة تقييم المصنف
شغّل Malte Ubl نموذج Jev من TypeSafe AI على تقييم مصنف موجود، فحقق تشبعًا في الجودة وكان أسرع 6 مرات من Gemini 2.5 Flash Lite.
عنق الزجاجة في استخدام Jev لتقييمات Evals
تشير المنشور إلى أن استخدام Jev لتقييمات Evals أمر جيد، لكن عنق الزجاجة الحقيقي هو اختبار المصنفات مقابل التسميات البشرية، وليس طريقة التقييم نفسها.
Using Jev for Evals is fine, but testing classifiers against human labels is the real bottleneck, not the evaluation method itself.
· 2 likesOpen on X
More like this
تصنيف سريع للصفوف في DuckDB باستخدام Jev
أصدر المؤلف إضافة DuckDB تستخدم Jev من TypeSafe AI لتصنيف الصفوف بسرعة في ملفات CSV/Parquet أو جداول DuckDB، حوالي 10 ثوانٍ لـ 1k صف، أسرع من LLM وأسهل من المصنف.
تصنيف 1018 ورقة بحثية في الذكاء الاصطناعي باستخدام Jev بتكلفة 0.08 دولار
لخّص المؤلف كل ورقة باستخدام DeepSeek V4 Flash، ثم أرسل العنوان والملخص و24 موضوعًا محتملًا إلى Jev للتصنيف، فتمت معالجة 1018 ورقة بحثية في الذكاء الاصطناعي بتكلفة إجمالية 0.08 دولار وزمن استجابة وسيط 256 مللي ثانية لكل ورقة.
