Jev vượt Gemini 2.5 Flash Lite về chất lượng và tốc độ trong đánh giá bộ phân loại
Malte Ubl chạy Jev của TypeSafe AI trên một đánh giá bộ phân loại hiện có: nó bão hòa đánh giá về chất lượng và nhanh gấp 6 lần Gemini 2.5 Flash Lite.
Đo lường Jev: 18.000 phán đoán và kiểm tra hiệu chuẩn xác suất
Tác giả dành một tuần đo lường Jev: 18.000 phán đoán trên toàn bộ đặc tả HTTP với chi phí 8 xu, sau đó gán nhãn thủ công 59 câu để kiểm tra xem xác suất có ý nghĩa gì không. Mọi nhóm đều thấp hơn dự đoán.
Everyone posted a Jev demo last week. I spent the week measuring it instead. 18,000 judgments across a full HTTP spec. 8 cents. Then I hand labelled 59 sentences to check whether the probabilities mean anything. Every bucket came in below its prediction. 🧵
· 0 likesOpen on X
More like this
Phân loại hàng nhanh trong DuckDB với Jev
Tác giả đã phát hành tiện ích mở rộng DuckDB sử dụng Jev của TypeSafe AI để phân loại nhanh các hàng trong tệp CSV/Parquet hoặc bảng DuckDB, khoảng 10 giây cho 1k hàng—nhanh hơn LLM và tiện dụng hơn bộ phân loại.
Phân loại 1.018 bài báo AI bằng Jev với chi phí 0,08 USD
Tác giả tóm tắt từng bài báo bằng DeepSeek V4 Flash, sau đó gửi tiêu đề, tóm tắt và 24 chủ đề ứng viên cho Jev để phân loại, xử lý 1.018 bài báo AI với tổng chi phí 0,08 USD và độ trễ đầu-cuối trung vị 256ms mỗi bài.
