Blog kỹ thuật Jev và quyền truy cập sớm
Cuối chuỗi ra mắt của Diogo có liên kết tới blog kỹ thuật chính thức và điểm đăng ký truy cập sớm.
Một nhà phát triển Nhật Bản đã kiểm tra Jev dùng làm bộ đánh giá LLM với 72 câu trả lời sai gây nhầm lẫn. Jev phát hiện chính xác các đáp án hoàn toàn sai, nhưng có thể bỏ sót một phần lỗi. Tốc độ ~0,2 giây/mẫu, chi phí ~2 xu/1.000 mẫu, và họ cũng đang thử chỉ gửi các trường hợp rủi ro cao cho bộ đánh giá LLM.
Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。