Jev 与文本生成模型的取舍
Jev 不生成自由文本。Diogo 用一段对比视频说明并行决策模型与逐字生成模型在任务形态上的差别。
如何评估 Jev 的准确性
讨论 Jev 虽不能超出预定义 schema 编造答案，但仍可能在 schema 内选错答案，甚至高置信度出错，并探讨低风险场景下的评估问题。
Jev is cool, but the question I’ve heard most over the past few days is: how do we evaluate its accuracy? 🤔 Jev cannot invent an answer outside a predefined schema, but it still can choose the wrong answer within it, sometimes even with high confidence. For low-stakes,
· 3 次赞在 X 打开
更多类似内容
定价、评测与 Jev 名称的由来
发布线程继续解释 code + AI 的工作流评测，并给出当时的输入价格及免费输出说明。
Jev模型：面向决策的概率生成，比LLM快200倍、便宜400倍
该模型专为决策而非文本生成设计，并行输出各选项概率，而非逐token生成回复。作者给出普通LLM与该Jev模型的简化对比示例。
