Jev 분류 모델로 유효한 다음 토큰을 선택해 C++ 작성
TypeSafe의 Jev 결정/분류 모델을 사용해 각 단계에서 문법적으로 유효한 다음 토큰만 제시하고 C++ 코드를 생성한 실험.
John Wong이 백본 동결 + 200 스텝 LoRA로 LFM3-VL-2B의 JevBench 점수(dev 0.657 / test 0.452)를 공유했습니다. 폐쇄형 0.996과는 다른 기준이며, 동급 오픈소스 최고보다 약 10포인트, Jev 본체보다 25~30포인트 뒤처져 있고 계속 최적화할 예정입니다.
第一次跑分,先记个数。 LFM3-VL-2B 冻结主体 + 200 步 LoRA,JevBench 路线 0.657 dev / 0.452 test,原始准确率,跟闭源那 0.996 不是一把尺子。 同量级开源最好 0.753,我们差 10 个点,落在 2B 中下段;离 Jev 本体差一档,25 到 30 个点。 后面接着优化,数会动。