THE JEV GUIDE · CURATED EDITION

科研.

TypeSafe Jev 的发布、原理、演示与社区实践,按主题整理。每条内容都可回到 X 原帖核对。

人工精选 · 非全量收录 · 手动更新

6757条已收录内容
3414条原帖视频

Realtime-Bench:Jev 响应最快,但准确率仅 8%

Realtime-Bench 的关键发现:最佳模型 GPT-6-Astra 得分 36%;Jev 在 1 秒内作答,是最快模型但得分 8%。推理增强仅在时钟暂停时有效,真实时钟下慢思考反而失去优势,且即使时间冻结,许多任务仍未解决。

Realtime-Bench:Jev 响应最快,但准确率仅 8%的原帖视频截图

alphaXiv 发布 4B 决策模型并与 Jev 对比

alphaXiv 称基于 117k 个决策示例训练 4B 模型,除讽刺检测外与 Jev 表现几乎一致,并在仇恨言论严重程度等未见任务上有泛化能力。

alphaXiv 发布 4B 决策模型并与 Jev 对比 · 原帖图片 1

Decision Bench 结果:Jev 1.13 对比 Clef Omni

Wasim Jalali 分享 Decision Bench 第9天结果:Clef Omni 以87.2%准确率位居8个模型之末,对比 Jev 1.13 的隐藏问题数和噪音处理。该模型较保守,留下大部分噪音。

Decision Bench 结果:Jev 1.13 对比 Clef Omni · 原帖图片 1Decision Bench 结果:Jev 1.13 对比 Clef Omni · 原帖图片 2Decision Bench 结果:Jev 1.13 对比 Clef Omni · 原帖图片 3

零私有数据训练,模型在护栏测试中超越Jev

Carlos Muñoz Ferrandis发文称,仅用一周时间、两张A100和公开数据集与合成回复,就在8项公共护栏基准中的6项超过Jev,平均AUROC为0.936对比Jev的0.934,单张A100上延迟90毫秒。

零私有数据训练,模型在护栏测试中超越Jev · 原帖图片 1

腾讯论文对比Jev与主流大模型

该帖子引述腾讯研究论文,评估Jev在选项顺序变化下的判断能力,结果显示Jev在可解决问题上常出错,与作者经验相符。

腾讯论文对比Jev与主流大模型 · 原帖图片 1

用 Jev 分类机器人建模论文

Ben Kolligs 使用来自 @typesafe 的 Jev 模型对机器人建模论文的标题和摘要进行分类,发现 VLA 模型论文占比从 2023 年的约 10% 上升到 2026 年 1–9 月的 38%,世界模型从 9% 到 18%。

用 Jev 分类机器人建模论文 · 原帖图片 1

Jev引发的决策模型对比研究

作者在论文中比较了基于#Jev的新决策模型与本地小模型,指出在少量示例时API更有优势,数据量增加后对比结果会变化。 链接

Jev引发的决策模型对比研究 · 原帖图片 1

Jev在多答案任务中的概率分配研究

帖子分享了一项关于多答案任务中模型行为的研究:模型能把正确选项排在干扰项前,却仍可能给部分正确项过低的概率。论文在MetaTool、HotpotQA和ECtHR上评估了Jev等模型。 链接

Jev在多答案任务中的概率分配研究 · 原帖图片 1Jev在多答案任务中的概率分配研究 · 原帖图片 2