Jev vượt Gemini 2.5 Flash Lite về chất lượng và tốc độ trong đánh giá bộ phân loại
Malte Ubl chạy Jev của TypeSafe AI trên một đánh giá bộ phân loại hiện có: nó bão hòa đánh giá về chất lượng và nhanh gấp 6 lần Gemini 2.5 Flash Lite.
Đánh giá Jev: So sánh độ chính xác và hiệu chuẩn
Đánh giá Jev và chín checkpoint mở trên 22 tác vụ cho thấy Jev dẫn đầu về độ chính xác macro, nhưng một mô hình 4B mở tạo ra xác suất được hiệu chuẩn tốt hơn; jev-bench hoàn toàn mở.
Jev Tests: Accuracy gave one ranking. Calibration gave another. We evaluated Jev and nine open checkpoints across 22 tasks. Jev led on macro accuracy. But an open 4B model produced better-calibrated probabilities. jev-bench is fully open 👇
· 0 likesOpen on X
More like this
Phân loại hàng nhanh trong DuckDB với Jev
Tác giả đã phát hành tiện ích mở rộng DuckDB sử dụng Jev của TypeSafe AI để phân loại nhanh các hàng trong tệp CSV/Parquet hoặc bảng DuckDB, khoảng 10 giây cho 1k hàng—nhanh hơn LLM và tiện dụng hơn bộ phân loại.
Phân loại 1.018 bài báo AI bằng Jev với chi phí 0,08 USD
Tác giả tóm tắt từng bài báo bằng DeepSeek V4 Flash, sau đó gửi tiêu đề, tóm tắt và 24 chủ đề ứng viên cho Jev để phân loại, xử lý 1.018 bài báo AI với tổng chi phí 0,08 USD và độ trễ đầu-cuối trung vị 256ms mỗi bài.
