Jev ชนะ Gemini 2.5 Flash Lite ทั้งด้านคุณภาพและความเร็วในการประเมินตัวจำแนก
Malte Ubl ทดลองใช้ Jev ของ TypeSafe AI กับชุดประเมินตัวจำแนกที่มีอยู่ โดยทำคะแนนคุณภาพได้เต็มชุดประเมินและเร็วกว่า Gemini 2.5 Flash Lite 6 เท่า
ผู้เขียนแบ่งปันการใช้งาน Jev ครั้งแรก: ส่ง 33,411 คู่เพื่อตัดสินว่าเป็นเหตุการณ์เดียวกันหรือไม่ โดยใช้ความน่าจะเป็นที่ส่งกลับเป็นเกณฑ์—ต่ำกว่า 0.3 ต่างกัน, 0.3–0.7 ส่งให้ LLM ตัดสิน, สูงกว่า 0.7 เหมือนกัน—และรายงานว่าใช้เวลาราวครึ่งหนึ่ง
איך עשיתי את זה עם Jev? (ניסיון ראשון) נתתי כל פעם זוג ולשאול האם מתארים את אותו הדבר, סה״כ אצלי 33,411 זוגות. הוא מחזיר הסתברות, אז הגדרתי טווח: - אם מתחת ל-0.3 - זה לא אותו אירוע - אם בין 0.3 ל0.7 - לא בטוח, נשלח ל-LLM להחליט - אם מעל 0.7 - זה אותו האירוע ובחצי מהמהירות