Jev, 분류기 평가에서 품질과 속도 모두 우세
Malte Ubl이 TypeSafe AI의 Jev를 기존 분류기 평가에 적용한 결과, 품질에서 평가를 포화시켰고 Gemini 2.5 Flash Lite보다 6배 빨랐다.
작성자가 Jev 첫 사용 경험을 공유한다. 33,411쌍을 동일 사건 여부 판단에 투입하고, 반환된 확률로 임계값을 설정했다—0.3 미만은 다른 사건, 0.3~0.7은 LLM에 위임, 0.7 초과는 같은 사건으로 판정. 소요 시간은 약 절반으로 줄었다고 밝혔다.
איך עשיתי את זה עם Jev? (ניסיון ראשון) נתתי כל פעם זוג ולשאול האם מתארים את אותו הדבר, סה״כ אצלי 33,411 זוגות. הוא מחזיר הסתברות, אז הגדרתי טווח: - אם מתחת ל-0.3 - זה לא אותו אירוע - אם בין 0.3 ל0.7 - לא בטוח, נשלח ל-LLM להחליט - אם מעל 0.7 - זה אותו האירוע ובחצי מהמהירות