Jev 在分类器评测中质量与速度均胜出
Malte Ubl 将 TypeSafe AI 的 Jev 用于现有分类器评测,结果在质量上饱和评测集,速度比 Gemini 2.5 Flash Lite 快 6 倍。
作者用开放访问对 300 个公开网页各做 9 个决策,总成本 2 美分,再由 Opus 5 对 900 条结果评分:整体 85.8/100 一致,Jev 确信时达 98/100,并附开源与并排视频。
First thing I did with open access: 300 public web pages, 9 decisions each, 2 cents total, then Opus 5 graded 900 of them. 85.8 of 100 agree, and where Jev is sure it is 98 of 100. Open source, with a side by side video: