Jev ชนะ Gemini 2.5 Flash Lite ทั้งด้านคุณภาพและความเร็วในการประเมินตัวจำแนก
Malte Ubl ทดลองใช้ Jev ของ TypeSafe AI กับชุดประเมินตัวจำแนกที่มีอยู่ โดยทำคะแนนคุณภาพได้เต็มชุดประเมินและเร็วกว่า Gemini 2.5 Flash Lite 6 เท่า
วัดผล Jev: 18,000 การตัดสินและการตรวจสอบการปรับเทียบความน่าจะเป็น
ผู้เขียนใช้เวลาหนึ่งสัปดาห์วัด Jev: 18,000 การตัดสินบนสเปก HTTP ฉบับเต็มด้วยค่าใช้จ่าย 8 เซนต์ จากนั้นติดป้าย 59 ประโยคด้วยมือเพื่อตรวจสอบว่าความน่าจะเป็นมีความหมายหรือไม่ ทุกช่วงต่ำกว่าที่คาดการณ์ไว้
Everyone posted a Jev demo last week. I spent the week measuring it instead. 18,000 judgments across a full HTTP spec. 8 cents. Then I hand labelled 59 sentences to check whether the probabilities mean anything. Every bucket came in below its prediction. 🧵
· 0 likesOpen on X
More like this
จำแนกแถวอย่างรวดเร็วใน DuckDB ด้วย Jev
ผู้เขียนเปิดตัวส่วนขยาย DuckDB ที่ใช้ Jev ของ TypeSafe AI เพื่อจำแนกแถวอย่างรวดเร็วในไฟล์ CSV/Parquet หรือตาราง DuckDB ใช้เวลาประมาณ 10 วินาทีสำหรับ 1k แถว เร็วกว่า LLM และใช้งานง่ายกว่าตัวจำแนก
จำแนกบทความ AI 1,018 ชิ้นด้วย Jev ในราคา 0.08 ดอลลาร์
ผู้เขียนสรุปแต่ละบทความด้วย DeepSeek V4 Flash แล้วส่งชื่อเรื่อง บทสรุป และ 24 หัวข้อที่เป็นไปได้ให้ Jev จำแนก โดยประมวลผลบทความ AI 1,018 ชิ้นด้วยต้นทุนรวม 0.08 ดอลลาร์ และความหน่วงแบบ end-to-end มัธยฐาน 256ms ต่อบทความ
