Back to explore

LFM3-VL-2B による JevBench 初回ベンチマーク記録

John Wong 氏が、バックボーン凍結 + 200 ステップ LoRA による LFM3-VL-2B の JevBench スコア(dev 0.657 / test 0.452)を共有。クローズドソースの 0.996 とは尺度が異なり、同規模のオープンソース最高値より約 10 ポイント、Jev 本体より 25〜30 ポイント低いと述べ、今後も最適化を続けるとしています。

第一次跑分,先记个数。 LFM3-VL-2B 冻结主体 + 200 步 LoRA,JevBench 路线 0.657 dev / 0.452 test,原始准确率,跟闭源那 0.996 不是一把尺子。 同量级开源最好 0.753,我们差 10 个点,落在 2B 中下段;离 Jev 本体差一档,25 到 30 个点。 后面接着优化,数会动。

LFM3-VL-2B による JevBench 初回ベンチマーク記録 1
· 0 likesOpen on X