Jev 실제 결정 벤치마크 공개: 900건을 Opus 5가 평가

Name: Jev 실제 결정 벤치마크 공개: 900건을 Opus 5가 평가
Uploaded: 2026-09-21
Description: 이 벤치마크는 900건의 실제 Jev 결정을 Opus 5가 평가한 것으로 일치율은 85.8/100이며, 불일치는 거의 Jev가 낮은 신뢰도를 보고한 곳에 집중되어 있고 누구나 자신의 모델로 재실행할 수 있다.

이 벤치마크는 900건의 실제 Jev 결정을 Opus 5가 평가한 것으로 일치율은 85.8/100이며, 불일치는 거의 Jev가 낮은 신뢰도를 보고한 곳에 집중되어 있고 누구나 자신의 모델로 재실행할 수 있다.

Stanislav Sorokin@stas_sorokin_𝕏

Open weight builders will need a public yardstick. One went out today: 900 real Jev decisions graded by Opus 5, 85.8 of 100 agree, and the misses sit almost entirely where Jev reported low confidence. Anyone can rerun it against their own model:

2026년 9월 21일· 0 likesOpen on X

More like this

출시 스레드에서 Jev 기술 블로그로

Jev 시작하기: 대기 신청과 Agent Skill 설치

Jev 유사 아키텍처를 리버스 엔지니어링하고 학습 저장소 공개