Jev ชนะ Gemini 2.5 Flash Lite ทั้งด้านคุณภาพและความเร็วในการประเมินตัวจำแนก
Malte Ubl ทดลองใช้ Jev ของ TypeSafe AI กับชุดประเมินตัวจำแนกที่มีอยู่ โดยทำคะแนนคุณภาพได้เต็มชุดประเมินและเร็วกว่า Gemini 2.5 Flash Lite 6 เท่า
คอขวดของการใช้ Jev สำหรับ Evals
โพสต์ระบุว่าการใช้ Jev สำหรับ Evals นั้นโอเค แต่คอขวดที่แท้จริงคือการทดสอบตัวจำแนกกับป้ายกำกับของมนุษย์ ไม่ใช่วิธีการประเมิน
Using Jev for Evals is fine, but testing classifiers against human labels is the real bottleneck, not the evaluation method itself.
· 2 likesOpen on X
More like this
จำแนกแถวอย่างรวดเร็วใน DuckDB ด้วย Jev
ผู้เขียนเปิดตัวส่วนขยาย DuckDB ที่ใช้ Jev ของ TypeSafe AI เพื่อจำแนกแถวอย่างรวดเร็วในไฟล์ CSV/Parquet หรือตาราง DuckDB ใช้เวลาประมาณ 10 วินาทีสำหรับ 1k แถว เร็วกว่า LLM และใช้งานง่ายกว่าตัวจำแนก
จำแนกบทความ AI 1,018 ชิ้นด้วย Jev ในราคา 0.08 ดอลลาร์
ผู้เขียนสรุปแต่ละบทความด้วย DeepSeek V4 Flash แล้วส่งชื่อเรื่อง บทสรุป และ 24 หัวข้อที่เป็นไปได้ให้ Jev จำแนก โดยประมวลผลบทความ AI 1,018 ชิ้นด้วยต้นทุนรวม 0.08 ดอลลาร์ และความหน่วงแบบ end-to-end มัธยฐาน 256ms ต่อบทความ
