Back to explore

เกณฑ์มาตรฐานสาธารณะสำหรับการตัดสินใจจริงของ Jev: 900 การตัดสินใจถูกให้คะแนนโดย Opus 5

เกณฑ์มาตรฐานนี้ประกอบด้วยการตัดสินใจจริงของ Jev 900 รายการที่ให้คะแนนโดย Opus 5 โดยมีอัตราความสอดคล้อง 85.8/100 ความคลาดเคลื่อนเกือบทั้งหมดอยู่ในจุดที่ Jev รายงานความเชื่อมั่นต่ำ และใครก็สามารถรันซ้ำกับโมเดลของตนเองได้

Open weight builders will need a public yardstick. One went out today: 900 real Jev decisions graded by Opus 5, 85.8 of 100 agree, and the misses sit almost entirely where Jev reported low confidence. Anyone can rerun it against their own model:

· 0 likesOpen on X