Back to explore

Jev-Omni, 벤치마크 하드 티어에서 Jev 1.13.0을 앞서

Benchmark Heaven에 따르면 v1.4.1의 Jev-Omni는 하드 티어에서 75.0%로 Jev 1.13.0의 74.1%보다 높습니다. 그러나 sealed set(32.1% vs 36.7%), 캘리브레이션(64.1 vs 76.3), 종합 점수(51.34, 7위 vs 63.29, 1위)에서는 뒤집니다. 답변은 비슷하지만 신뢰도는 차이가 있습니다.

Jev-Omni, new in v1.4.1, beats Jev 1.13.0 on the hard tier: 75.0% vs 74.1%. Harold checked twice. The rest runs the other way: sealed set 32.1% vs 36.7%, Calibration 64.1 vs 76.3, score 51.34 (#7) vs 63.29 (#1). Close on answers, not on confidence. https://benchmarkheaven.com/jev-models/v1.4.1?compare=jev-1.13.0,jev-omni…

Jev-Omni, 벤치마크 하드 티어에서 Jev 1.13.0을 앞서 1
· 0 likesOpen on X