Jev vượt Gemini 2.5 Flash Lite về chất lượng và tốc độ trong đánh giá bộ phân loại
Malte Ubl chạy Jev của TypeSafe AI trên một đánh giá bộ phân loại hiện có: nó bão hòa đánh giá về chất lượng và nhanh gấp 6 lần Gemini 2.5 Flash Lite.
Tác giả đã chạy 662 bài kiểm tra độ chính xác của Jev bằng bộ dữ liệu SMS Spam Collection và Banking77 của Kaggle, với kết quả bất ngờ.
How accurate is Jev, really? I tested it with two Kaggle datasets 662 times, and the results were a bit surprising. I used datasets from Kaggle: - SMS Spam Collection: 5,574 English text messages, sampled 200 for a smoke test - Banking77: 13,000 real banking app queries, 77