Jev 在分类器评测中质量与速度均胜出
Malte Ubl 将 TypeSafe AI 的 Jev 用于现有分类器评测,结果在质量上饱和评测集,速度比 Gemini 2.5 Flash Lite 快 6 倍。
作者分享首次使用 Jev 的经验:将 33,411 对数据交给 Jev 判断是否描述同一事件,依据其返回的概率设定阈值——低于 0.3 判为不同、0.3 至 0.7 交由 LLM 裁决、高于 0.7 判为相同,并称速度提升约一半。
איך עשיתי את זה עם Jev? (ניסיון ראשון) נתתי כל פעם זוג ולשאול האם מתארים את אותו הדבר, סה״כ אצלי 33,411 זוגות. הוא מחזיר הסתברות, אז הגדרתי טווח: - אם מתחת ל-0.3 - זה לא אותו אירוע - אם בין 0.3 ל0.7 - לא בטוח, נשלח ל-LLM להחליט - אם מעל 0.7 - זה אותו האירוע ובחצי מהמהירות