用 Jev 构建代码库分类器
开发者分享用 Jev 构建代码库分类器，认为这可能解决智能体生成过度工程化代码的问题，并询问下一步测试方向。
Jev在缺陷测试中捕获6/7问题，速度快25倍
据原帖，在Every的缺陷测试中Jev捕获6/7个植入问题（Fable 5.1为7/7），速度约为其25倍。作者建议固定jev-1.13.0版本，每次调用记录log probs和版本，并使用自有标签重新校准阈值。
In Every's defect test (@danshipper) Jev caught 6/7 planted issues vs 7/7 for Fable 5.1, at ~25x the speed. Pin jev-1.13.0, log probs + version on every call, recalibrate thresholds on your own labels. https://every.to/vibe-check/mini-vibe-check-typesafe-s-jev-judged-everything-i-ve-written-in-0-7-seconds…
· 0 次赞在 X 打开
更多类似内容
Jev 以 20–200 倍速度和 40–400 倍低成本实现 LLM 评判
Jev 被用于判断哪个模型是 AGI，速度提升 20–200 倍，成本降低 40–400 倍，可让 LLM-as-a-judge 变得极快且近乎免费。
使用 TypeSafe Jev 与 OpenCode 测试应用
Filip 分享了一个小演示，展示使用 TypeSafe Jev 和 OpenCode 测试应用的速度。
