Back to explore

Öffentlicher Benchmark für echte Jev-Entscheidungen: 900 Entscheidungen von Opus 5 bewertet

Der Benchmark umfasst 900 echte Jev-Entscheidungen, die von Opus 5 bewertet wurden, mit einer Übereinstimmung von 85,8/100; Abweichungen treten fast ausschließlich dort auf, wo Jev geringes Vertrauen meldete, und jeder kann ihn mit seinem eigenen Modell erneut ausführen.

Open weight builders will need a public yardstick. One went out today: 900 real Jev decisions graded by Opus 5, 85.8 of 100 agree, and the misses sit almost entirely where Jev reported low confidence. Anyone can rerun it against their own model:

· 0 likesOpen on X