Jev ชนะ Gemini 2.5 Flash Lite ทั้งด้านคุณภาพและความเร็วในการประเมินตัวจำแนก
Malte Ubl ทดลองใช้ Jev ของ TypeSafe AI กับชุดประเมินตัวจำแนกที่มีอยู่ โดยทำคะแนนคุณภาพได้เต็มชุดประเมินและเร็วกว่า Gemini 2.5 Flash Lite 6 เท่า
การทดสอบ Jev: การประเมินความแม่นยำเทียบกับการปรับเทียบ
การประเมิน Jev และเช็คพอยต์เปิดเก้ารายการใน 22 งานพบว่า Jev นำด้านความแม่นยำระดับมหภาค แต่โมเดล 4B แบบเปิดให้ความน่าจะเป็นที่ปรับเทียบได้ดีกว่า โดย jev-bench เปิดทั้งหมด
Jev Tests: Accuracy gave one ranking. Calibration gave another. We evaluated Jev and nine open checkpoints across 22 tasks. Jev led on macro accuracy. But an open 4B model produced better-calibrated probabilities. jev-bench is fully open 👇
· 0 likesOpen on X
More like this
จำแนกแถวอย่างรวดเร็วใน DuckDB ด้วย Jev
ผู้เขียนเปิดตัวส่วนขยาย DuckDB ที่ใช้ Jev ของ TypeSafe AI เพื่อจำแนกแถวอย่างรวดเร็วในไฟล์ CSV/Parquet หรือตาราง DuckDB ใช้เวลาประมาณ 10 วินาทีสำหรับ 1k แถว เร็วกว่า LLM และใช้งานง่ายกว่าตัวจำแนก
จำแนกบทความ AI 1,018 ชิ้นด้วย Jev ในราคา 0.08 ดอลลาร์
ผู้เขียนสรุปแต่ละบทความด้วย DeepSeek V4 Flash แล้วส่งชื่อเรื่อง บทสรุป และ 24 หัวข้อที่เป็นไปได้ให้ Jev จำแนก โดยประมวลผลบทความ AI 1,018 ชิ้นด้วยต้นทุนรวม 0.08 ดอลลาร์ และความหน่วงแบบ end-to-end มัธยฐาน 256ms ต่อบทความ
