Xây dựng bộ phân loại cơ sở mã với Jev
Một nhà phát triển chia sẻ việc xây dựng bộ phân loại cơ sở mã với Jev, cho rằng có thể giải quyết mã quá phức tạp do tác nhân tạo ra, và hỏi nên thử nghiệm gì tiếp theo.
Braintrust thử nghiệm Jev như mô hình giám khảo
Braintrust thử nghiệm Jev như mô hình giám khảo: nhanh, rẻ và cạnh tranh ở đánh giá groundedness, nhưng kém hơn các mô hình suy luận ở toán và mã. Phù hợp cho một số tác vụ đánh giá, không thay thế hoàn toàn LLM-as-a-judge.
We tested where Jev holds up as a judge. Jev was fast, cheap, and highly competitive for judging groundedness. But it lagged behind models with reasoning for math and code domains. Use it for certain eval tasks, but don't throw out your LLM-as-a-judge just yet. Read more →
· 26 likesOpen on X
More like this
Jev cho phép LLM-as-a-Judge nhanh hơn 20–200 lần và rẻ hơn 40–400 lần
Jev được dùng để chọn mô hình nào là AGI, mang lại tốc độ nhanh hơn 20–200 lần và chi phí thấp hơn 40–400 lần, giúp LLM-as-a-judge cực nhanh và gần như miễn phí.
Kiểm thử ứng dụng với TypeSafe Jev & OpenCode
Filip chia sẻ bản demo nhỏ cho thấy tốc độ kiểm thử ứng dụng với TypeSafe Jev và OpenCode.
