用 Jev 分类模型逐步选择合法 token 编写 C++
作者用 TypeSafe 的 Jev 决策/分类模型做实验:每步只提供语法合法的候选 token,让模型选择,从而生成 C++ 代码。
Tessl 在自家生产代码上运行约 2,725 项 verifier 检查:GPT Luna 6 耗时 436 秒,Jev 仅 32 秒,且成本低 2.7 倍。两个模型在 85.9% 的决策上一致,方法和命令已公开。
What if your review rules ran across your whole codebase in 32 seconds? We ran about 2,725 verifier checks on our own production code. GPT Luna 6: 436s. Jev: 32s, at 2.7x lower cost. The two judges agreed on 85.9% of decisions. Method and commands: https://tessl.io/blog/jev-is-136x-faster-and-27x-cheaper-than-gpt-luna-6-for-tessl-verifiers-try-it-yourself…