用 Jev 构建代码库分类器
开发者分享用 Jev 构建代码库分类器，认为这可能解决智能体生成过度工程化代码的问题，并询问下一步测试方向。
使用 Jev 进行 LLM 评估
Hamel Husain 指出 Jev 可用于 LLM 评估，因为 LLM Judge 本质上是分类器，并建议用人工标签测试分类器、避免过拟合。
Can you use Jev for Evals? Yes! Remember that a LLM Judge is also classifier*. Make sure to test your classifiers against human labels and don't overfit. Hope this helps! * https://hamel.dev/blog/posts/evals-faq/why-do-you-recommend-binary-passfail-evaluations-instead-of-1-5-ratings-likert-scales.html…
· 130 次赞在 X 打开
更多类似内容
Jev 以 20–200 倍速度和 40–400 倍低成本实现 LLM 评判
Jev 被用于判断哪个模型是 AGI，速度提升 20–200 倍，成本降低 40–400 倍，可让 LLM-as-a-judge 变得极快且近乎免费。
使用 TypeSafe Jev 与 OpenCode 测试应用
Filip 分享了一个小演示，展示使用 TypeSafe Jev 和 OpenCode 测试应用的速度。
