Jev vượt Gemini 2.5 Flash Lite về chất lượng và tốc độ trong đánh giá bộ phân loại
Malte Ubl chạy Jev của TypeSafe AI trên một đánh giá bộ phân loại hiện có: nó bão hòa đánh giá về chất lượng và nhanh gấp 6 lần Gemini 2.5 Flash Lite.
Benchmark công khai với 900 quyết định kiểm toán web thực tế, câu trả lời của Jev và Opus 5 song song, tất cả hàng mở theo MIT. Jev đạt 85,8/100, ngang bằng Opus 5.
Congrats on shipping Solomon. If you want a public yardstick for it: 900 real web audit decisions with Jev and Opus 5 answers side by side, all rows open, MIT. Jev matched Opus 5 on 85.8 of 100. Would be great to see where Solomon 27b lands: