Jevの分類モデルで有効な次トークンを選びC++を書く
TypeSafeのJev決定/分類モデルを使い、各ステップで文法的に有効な次トークンだけを提示してC++コードを生成する実験。
John Wong 氏が、バックボーン凍結 + 200 ステップ LoRA による LFM3-VL-2B の JevBench スコア(dev 0.657 / test 0.452)を共有。クローズドソースの 0.996 とは尺度が異なり、同規模のオープンソース最高値より約 10 ポイント、Jev 本体より 25〜30 ポイント低いと述べ、今後も最適化を続けるとしています。
第一次跑分,先记个数。 LFM3-VL-2B 冻结主体 + 200 步 LoRA,JevBench 路线 0.657 dev / 0.452 test,原始准确率,跟闭源那 0.996 不是一把尺子。 同量级开源最好 0.753,我们差 10 个点,落在 2B 中下段;离 Jev 本体差一档,25 到 30 个点。 后面接着优化,数会动。