Jev vượt Gemini 2.5 Flash Lite về chất lượng và tốc độ trong đánh giá bộ phân loại
Malte Ubl chạy Jev của TypeSafe AI trên một đánh giá bộ phân loại hiện có: nó bão hòa đánh giá về chất lượng và nhanh gấp 6 lần Gemini 2.5 Flash Lite.
Tác giả chia sẻ lần đầu dùng Jev: đưa 33.411 cặp vào để xác định chúng có mô tả cùng một sự kiện không, dùng xác suất trả về làm ngưỡng—dưới 0,3 là khác, 0,3–0,7 chuyển cho LLM, trên 0,7 là giống—và cho biết thời gian giảm khoảng một nửa.
איך עשיתי את זה עם Jev? (ניסיון ראשון) נתתי כל פעם זוג ולשאול האם מתארים את אותו הדבר, סה״כ אצלי 33,411 זוגות. הוא מחזיר הסתברות, אז הגדרתי טווח: - אם מתחת ל-0.3 - זה לא אותו אירוע - אם בין 0.3 ל0.7 - לא בטוח, נשלח ל-LLM להחליט - אם מעל 0.7 - זה אותו האירוע ובחצי מהמהירות