Xây dựng bộ phân loại cơ sở mã với Jev
Một nhà phát triển chia sẻ việc xây dựng bộ phân loại cơ sở mã với Jev, cho rằng có thể giải quyết mã quá phức tạp do tác nhân tạo ra, và hỏi nên thử nghiệm gì tiếp theo.
Jev phát hiện 6/7 lỗi với tốc độ nhanh gấp 25 lần
Theo bài đăng, Jev phát hiện 6/7 vấn đề cài cắm trong bài kiểm tra lỗi của Every (so với 7/7 của Fable 5.1) với tốc độ nhanh gấp khoảng 25 lần. Tác giả khuyên nên cố định jev-1.13.0, ghi log probs và phiên bản trong mỗi lần gọi, đồng thời hiệu chỉnh lại ngưỡng trên nhãn của riêng bạn.
In Every's defect test (@danshipper) Jev caught 6/7 planted issues vs 7/7 for Fable 5.1, at ~25x the speed. Pin jev-1.13.0, log probs + version on every call, recalibrate thresholds on your own labels. https://every.to/vibe-check/mini-vibe-check-typesafe-s-jev-judged-everything-i-ve-written-in-0-7-seconds…
· 0 likesOpen on X
More like this
Jev cho phép LLM-as-a-Judge nhanh hơn 20–200 lần và rẻ hơn 40–400 lần
Jev được dùng để chọn mô hình nào là AGI, mang lại tốc độ nhanh hơn 20–200 lần và chi phí thấp hơn 40–400 lần, giúp LLM-as-a-judge cực nhanh và gần như miễn phí.
Kiểm thử ứng dụng với TypeSafe Jev & OpenCode
Filip chia sẻ bản demo nhỏ cho thấy tốc độ kiểm thử ứng dụng với TypeSafe Jev và OpenCode.
