Back to explore

Jev vs GPT-5.4 trong kiểm tra thực tế khó: không khác biệt đáng kể, chi phí 1/50

Chạy lại bởi cộng đồng cho thấy Jev và GPT-5.4 không thể phân biệt về mặt thống kê (chênh lệch 3,3 điểm), trong khi Jev chỉ tốn khoảng 1/50 chi phí.

I said Jev beat GPT-5.4 on hard fact-checks by 11.1 points. That was one run. Rerun five times, I can't tell them apart: 3.3 points, not significant. Jev costs a fiftieth as much. Raw runs: https://github.com/TheWayWithin/jev-bench… https://jamiewatters.work/journey/jev-ties-gpt-5-4…

Jev vs GPT-5.4 trong kiểm tra thực tế khó: không khác biệt đáng kể, chi phí 1/50 1
· 0 likesOpen on X