用 Jev 构建代码库分类器
开发者分享用 Jev 构建代码库分类器，认为这可能解决智能体生成过度工程化代码的问题，并询问下一步测试方向。
Braintrust 测试 Jev 作为评判模型的表现
Braintrust 测试了 Jev 作为评判模型的表现：在 groundedness 评判上快速、低成本且具竞争力，但在数学和代码领域落后于具备推理能力的模型，建议用于特定评估任务而非完全替代 LLM-as-a-judge。
We tested where Jev holds up as a judge. Jev was fast, cheap, and highly competitive for judging groundedness. But it lagged behind models with reasoning for math and code domains. Use it for certain eval tasks, but don't throw out your LLM-as-a-judge just yet. Read more →
· 26 次赞在 X 打开
更多类似内容
Jev 以 20–200 倍速度和 40–400 倍低成本实现 LLM 评判
Jev 被用于判断哪个模型是 AGI，速度提升 20–200 倍，成本降低 40–400 倍，可让 LLM-as-a-judge 变得极快且近乎免费。
使用 TypeSafe Jev 与 OpenCode 测试应用
Filip 分享了一个小演示，展示使用 TypeSafe Jev 和 OpenCode 测试应用的速度。
