Back to explore

Benchmark publik keputusan nyata Jev: 900 keputusan dinilai oleh Opus 5

Benchmark ini mencakup 900 keputusan Jev nyata yang dinilai oleh Opus 5 dengan tingkat kesesuaian 85,8/100; ketidaksesuaian hampir seluruhnya terjadi di tempat Jev melaporkan keyakinan rendah, dan siapa pun dapat menjalankannya ulang pada model mereka sendiri.

Open weight builders will need a public yardstick. One went out today: 900 real Jev decisions graded by Opus 5, 85.8 of 100 agree, and the misses sit almost entirely where Jev reported low confidence. Anyone can rerun it against their own model:

· 0 likesOpen on X