Jev vượt Gemini 2.5 Flash Lite về chất lượng và tốc độ trong đánh giá bộ phân loại
Malte Ubl chạy Jev của TypeSafe AI trên một đánh giá bộ phân loại hiện có: nó bão hòa đánh giá về chất lượng và nhanh gấp 6 lần Gemini 2.5 Flash Lite.
Tác giả đã thử nghiệm Jev cho giám sát CoT trên 2.200 dấu vết suy nghĩ, báo cáo rằng nó vượt Sonnet 5 về phân loại và nhanh hơn Luna 3,7 lần và nhanh hơn Sonnet 6 lần.
I ran Jev against Claude and ChatGPT for CoT Monitoring on 2,200 thought traces. It beat Sonnet 5 at classification, but the main selling point is the speed, classifying 3.7x faster than Luna and 6x faster than Sonnet! 🧵