Back to explore

Benchmark público de decisiones reales de Jev: 900 decisiones evaluadas por Opus 5

El benchmark incluye 900 decisiones reales de Jev evaluadas por Opus 5, con una concordancia de 85.8/100; los fallos se concentran casi por completo donde Jev reportó baja confianza, y cualquiera puede reproducirlo con su propio modelo.

Open weight builders will need a public yardstick. One went out today: 900 real Jev decisions graded by Opus 5, 85.8 of 100 agree, and the misses sit almost entirely where Jev reported low confidence. Anyone can rerun it against their own model:

· 0 likesOpen on X