Xây dựng bộ phân loại cơ sở mã với Jev
Một nhà phát triển chia sẻ việc xây dựng bộ phân loại cơ sở mã với Jev, cho rằng có thể giải quyết mã quá phức tạp do tác nhân tạo ra, và hỏi nên thử nghiệm gì tiếp theo.
Jev Benchmark Lab: Kiểm thử căng thẳng với 200 ca ground-truth
Jev Benchmark Lab chạy 200 ca ground-truth qua 20 bộ, đánh giá độ chính xác, tính nhất quán, thất bại đối kháng, thiên lệch thứ tự lựa chọn, đảo ngược câu trả lời, trôi dạt xác suất và độ trễ—để con số quyết định.
Jev doesn’t need another demo. It needs a stress test. Jev Benchmark Lab runs 200 ground-truth cases across 20 suites, exposing accuracy, consistency, adversarial failures, option-order bias, answer flips, probability drift and latency. Let the numbers decide.
· 5 likesOpen on X
More like this
Jev cho phép LLM-as-a-Judge nhanh hơn 20–200 lần và rẻ hơn 40–400 lần
Jev được dùng để chọn mô hình nào là AGI, mang lại tốc độ nhanh hơn 20–200 lần và chi phí thấp hơn 40–400 lần, giúp LLM-as-a-judge cực nhanh và gần như miễn phí.
Kiểm thử ứng dụng với TypeSafe Jev & OpenCode
Filip chia sẻ bản demo nhỏ cho thấy tốc độ kiểm thử ứng dụng với TypeSafe Jev và OpenCode.
