Back to explore

Openbare benchmark voor echte Jev-beslissingen: 900 beslissingen beoordeeld door Opus 5

De benchmark bevat 900 echte Jev-beslissingen beoordeeld door Opus 5, met een overeenstemming van 85,8/100; afwijkingen zitten bijna volledig waar Jev lage betrouwbaarheid rapporteerde, en iedereen kan deze opnieuw uitvoeren met het eigen model.

Open weight builders will need a public yardstick. One went out today: 900 real Jev decisions graded by Opus 5, 85.8 of 100 agree, and the misses sit almost entirely where Jev reported low confidence. Anyone can rerun it against their own model:

· 0 likesOpen on X