Back to explore

Publiczny benchmark rzeczywistych decyzji Jev: 900 decyzji ocenionych przez Opus 5

Benchmark obejmuje 900 rzeczywistych decyzji Jev ocenionych przez Opus 5, ze zgodnością 85,8/100; rozbieżności występują niemal wyłącznie tam, gdzie Jev zgłaszał niską pewność, a każdy może uruchomić go ponownie na własnym modelu.

Open weight builders will need a public yardstick. One went out today: 900 real Jev decisions graded by Opus 5, 85.8 of 100 agree, and the misses sit almost entirely where Jev reported low confidence. Anyone can rerun it against their own model:

· 0 likesOpen on X