Back to explore

Jev系モデルの精度比較:公式は全問正解、派生モデルは様々

コミュニティユーザーが公式Jev、AnyJev(Qwen3-4B)、Laya、djevの20問テストの精度を比較。公式Jevは全問正解、AnyJev 95%、Laya 65%、djevはわずか35%。また、djevは選択肢の順序を変えると20問中19問で回答が変わり、安定性に欠ける結果となった。

准确率一下就拉开了: 官方 Jev 20 题全对 AnyJev(Qwen3-4B)95% Laya 65% djev(Mac 4bit)35% djev 更离谱,选项换个顺序,20 题里 19 题变了答案(想问问djev,你是属变色龙的吗😂)

· 0 likesOpen on X