บล็อกเทคนิค Jev และการเข้าถึงล่วงหน้า
ท้ายเธรดเปิดตัวของ Diogo มีลิงก์ไปยังบล็อกเทคนิคทางการและทางเข้า early access สำหรับอ่านต่อ
นักพัฒนาชาวญี่ปุ่นทดสอบ Jev ในฐานะผู้ตัดสิน LLM ด้วยคำตอบผิด 72 ข้อที่ทำให้สับสน พบว่าจับคำตอบที่ผิดทั้งหมดได้อย่างแม่นยำ แต่อาจพลาดข้อที่ผิดบางส่วน ใช้เวลาประมาณ 0.2 วินาทีต่อชิ้น ต้นทุนประมาณ 2 เซนต์ต่อ 1,000 ชิ้น และยังลองส่งเฉพาะกรณีเสี่ยงสูงให้ผู้ตัดสิน LLM
Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。