Jev ชนะ Gemini 2.5 Flash Lite ทั้งด้านคุณภาพและความเร็วในการประเมินตัวจำแนก
Malte Ubl ทดลองใช้ Jev ของ TypeSafe AI กับชุดประเมินตัวจำแนกที่มีอยู่ โดยทำคะแนนคุณภาพได้เต็มชุดประเมินและเร็วกว่า Gemini 2.5 Flash Lite 6 เท่า
Jev 1.13.0 เทียบกับ GPT-6 Luna: การเปรียบเทียบเกณฑ์มาตรฐาน JevBench
การเปรียบเทียบ JevBench ของ Benchmark Heaven แสดงให้เห็นว่า Jev 1.13.0 ได้ 86.6% ชุดสาธารณะ และ 36.7% ชุดปิดผนึก ขณะที่ GPT-6 Luna ได้ 99.6% และ 95.5% Luna ยังคงอยู่อันดับ #30 ใน JevBench โดยแกนต้นทุน ($0.135 เทียบกับ $0.040 ต่อ 1,000 การตัดสินใจ) และเกณฑ์ต่ำกว่า 50 เป็นปัจจัยอธิบายหลัก
GPT-6 Luna (medium) gets nearly everything right: 99.6% public, 95.5% sealed. Jev 1.13.0: 86.6% and 36.7%. Luna still ranks #30 on JevBench. One column explains it: $0.135 per 1,000 decisions vs $0.040, Cost axis 36.0. Below 50, the gate applies. https://benchmarkheaven.com/jev-models/v1.4.1?compare=jev-1.13.0,gpt-6-luna…
· 0 likesOpen on X
More like this
จำแนกแถวอย่างรวดเร็วใน DuckDB ด้วย Jev
ผู้เขียนเปิดตัวส่วนขยาย DuckDB ที่ใช้ Jev ของ TypeSafe AI เพื่อจำแนกแถวอย่างรวดเร็วในไฟล์ CSV/Parquet หรือตาราง DuckDB ใช้เวลาประมาณ 10 วินาทีสำหรับ 1k แถว เร็วกว่า LLM และใช้งานง่ายกว่าตัวจำแนก
จำแนกบทความ AI 1,018 ชิ้นด้วย Jev ในราคา 0.08 ดอลลาร์
ผู้เขียนสรุปแต่ละบทความด้วย DeepSeek V4 Flash แล้วส่งชื่อเรื่อง บทสรุป และ 24 หัวข้อที่เป็นไปได้ให้ Jev จำแนก โดยประมวลผลบทความ AI 1,018 ชิ้นด้วยต้นทุนรวม 0.08 ดอลลาร์ และความหน่วงแบบ end-to-end มัธยฐาน 256ms ต่อบทความ
