Jev vượt Gemini 2.5 Flash Lite về chất lượng và tốc độ trong đánh giá bộ phân loại
Malte Ubl chạy Jev của TypeSafe AI trên một đánh giá bộ phân loại hiện có: nó bão hòa đánh giá về chất lượng và nhanh gấp 6 lần Gemini 2.5 Flash Lite.
Nút thắt khi dùng Jev cho Evals
Bài đăng lưu ý rằng việc dùng Jev cho Evals là ổn, nhưng nút thắt thực sự là kiểm tra bộ phân loại với nhãn của con người, không phải phương pháp đánh giá.
Using Jev for Evals is fine, but testing classifiers against human labels is the real bottleneck, not the evaluation method itself.
· 2 likesOpen on X
More like this
Phân loại hàng nhanh trong DuckDB với Jev
Tác giả đã phát hành tiện ích mở rộng DuckDB sử dụng Jev của TypeSafe AI để phân loại nhanh các hàng trong tệp CSV/Parquet hoặc bảng DuckDB, khoảng 10 giây cho 1k hàng—nhanh hơn LLM và tiện dụng hơn bộ phân loại.
Phân loại 1.018 bài báo AI bằng Jev với chi phí 0,08 USD
Tác giả tóm tắt từng bài báo bằng DeepSeek V4 Flash, sau đó gửi tiêu đề, tóm tắt và 24 chủ đề ứng viên cho Jev để phân loại, xử lý 1.018 bài báo AI với tổng chi phí 0,08 USD và độ trễ đầu-cuối trung vị 256ms mỗi bài.
