用 Jev 分类模型逐步选择合法 token 编写 C++
作者用 TypeSafe 的 Jev 决策/分类模型做实验:每步只提供语法合法的候选 token,让模型选择,从而生成 C++ 代码。
John Wong 分享 LFM3-VL-2B 使用冻结主体加 200 步 LoRA 后的 JevBench 成绩:dev 0.657 / test 0.452,并指出与闭源 0.996 不可比,当前落后同量级开源最好水平约 10 个点,离 Jev 本体差 25 到 30 个点,后续将继续优化。
第一次跑分,先记个数。 LFM3-VL-2B 冻结主体 + 200 步 LoRA,JevBench 路线 0.657 dev / 0.452 test,原始准确率,跟闭源那 0.996 不是一把尺子。 同量级开源最好 0.753,我们差 10 个点,落在 2B 中下段;离 Jev 本体差一档,25 到 30 个点。 后面接着优化,数会动。