Back to explore

Benchmark pubblico per le decisioni reali di Jev: 900 decisioni valutate da Opus 5

Il benchmark include 900 decisioni reali di Jev valutate da Opus 5, con una concordanza di 85,8/100; le discrepanze si concentrano quasi interamente dove Jev ha riportato bassa confidenza, e chiunque può rieseguirlo sul proprio modello.

Open weight builders will need a public yardstick. One went out today: 900 real Jev decisions graded by Opus 5, 85.8 of 100 agree, and the misses sit almost entirely where Jev reported low confidence. Anyone can rerun it against their own model:

· 0 likesOpen on X