Realtime-Bench:Jev 响应最快,但准确率仅 8%
Realtime-Bench 的关键发现:最佳模型 GPT-6-Astra 得分 36%;Jev 在 1 秒内作答,是最快模型但得分 8%。推理增强仅在时钟暂停时有效,真实时钟下慢思考反而失去优势,且即使时间冻结,许多任务仍未解决。
THE JEV GUIDE · CURATED EDITION
TypeSafe Jev 的发布、原理、演示与社区实践,按主题整理。每条内容都可回到 X 原帖核对。
人工精选 · 非全量收录 · 手动更新
Sponsors
这些产品赞助了本目录。 把你的产品放上来
Realtime-Bench 的关键发现:最佳模型 GPT-6-Astra 得分 36%;Jev 在 1 秒内作答,是最快模型但得分 8%。推理增强仅在时钟暂停时有效,真实时钟下慢思考反而失去优势,且即使时间冻结,许多任务仍未解决。
alphaXiv 称基于 117k 个决策示例训练 4B 模型,除讽刺检测外与 Jev 表现几乎一致,并在仇恨言论严重程度等未见任务上有泛化能力。
Wasim Jalali 分享 Decision Bench 第9天结果:Clef Omni 以87.2%准确率位居8个模型之末,对比 Jev 1.13 的隐藏问题数和噪音处理。该模型较保守,留下大部分噪音。
独立测试显示,Jev 在安全分类和工具路由上与 LLM 持平,但在开放任务上落后。
Carlos Muñoz Ferrandis发文称,仅用一周时间、两张A100和公开数据集与合成回复,就在8项公共护栏基准中的6项超过Jev,平均AUROC为0.936对比Jev的0.934,单张A100上延迟90毫秒。
信息流里每 16 张、每一页都有一张。每周 $50,任意一周可停。
该帖子引述腾讯研究论文,评估Jev在选项顺序变化下的判断能力,结果显示Jev在可解决问题上常出错,与作者经验相符。
用户设想将 Jev 用于处理研究生的扫描论文文件夹,自动识别含公式的页面并标记需要二次检查的部分。 链接
Ben Kolligs 使用来自 @typesafe 的 Jev 模型对机器人建模论文的标题和摘要进行分类,发现 VLA 模型论文占比从 2023 年的约 10% 上升到 2026 年 1–9 月的 38%,世界模型从 9% 到 18%。
在Latent Space播客中,swyx讨论了Jev和决策模型时提到了LLM校准的一个罕见话题,强调了人们可能不知道或不理解的校准元素。
作者在论文中比较了基于#Jev的新决策模型与本地小模型,指出在少量示例时API更有优势,数据量增加后对比结果会变化。 链接
帖子报道了 Decision Bench 第5天的结果:Microsoft-Decision-1 以 96.4% 的准确率领先,而 Jev 1.13 仅以一项检查之差紧随其后,并提及隐藏问题数量与噪声评论成本。
帖子分享了一项关于多答案任务中模型行为的研究:模型能把正确选项排在干扰项前,却仍可能给部分正确项过低的概率。论文在MetaTool、HotpotQA和ECtHR上评估了Jev等模型。 链接
在 GitHub 点 Star,支持我们继续收集和整理 Jev 案例。