Jev перевершує Gemini 2.5 Flash Lite за якістю та швидкістю в оцінці класифікатора
Malte Ubl запустив Jev від TypeSafe AI на наявній оцінці класифікатора: він наситив оцінку за якістю та був у 6 разів швидшим за Gemini 2.5 Flash Lite.
Автор ділиться першим досвідом із Jev: 33 411 пар передано для визначення, чи описують вони ту саму подію, з порогами на основі повернутих ймовірностей—нижче 0,3 як різні, 0,3–0,7 передано LLM, вище 0,7 як однакові—і повідомляє про приблизно вдвічі менший час.
איך עשיתי את זה עם Jev? (ניסיון ראשון) נתתי כל פעם זוג ולשאול האם מתארים את אותו הדבר, סה״כ אצלי 33,411 זוגות. הוא מחזיר הסתברות, אז הגדרתי טווח: - אם מתחת ל-0.3 - זה לא אותו אירוע - אם בין 0.3 ל0.7 - לא בטוח, נשלח ל-LLM להחליט - אם מעל 0.7 - זה אותו האירוע ובחצי מהמהירות