Back to explore

Benchmark público de decisões reais do Jev: 900 decisões avaliadas pelo Opus 5

O benchmark inclui 900 decisões reais do Jev avaliadas pelo Opus 5, com concordância de 85,8/100; as divergências ocorrem quase inteiramente onde o Jev reportou baixa confiança, e qualquer pessoa pode reproduzi-lo com seu próprio modelo.

Open weight builders will need a public yardstick. One went out today: 900 real Jev decisions graded by Opus 5, 85.8 of 100 agree, and the misses sit almost entirely where Jev reported low confidence. Anyone can rerun it against their own model:

· 0 likesOpen on X