Back to explore

Поширення оцінки стабільності багатомовного перекладу моделі Jev

Автор раніше тестував багатомовний переклад LLM за допомогою Qwen 3.6, що вимагало кількох оцінок через високу варіативність. Після переходу на Jev варіативність була мінімальною, тому достатньо однієї оцінки. Приклад: 7,5 млн токенів, $0,3165, 5 хв 23 с.

LLMの英語からの多言語翻訳能力のテストは、今までQwen 3.6で評価していましたが、揺れが大きく、温度0だとその1つを固定することになるので、3回評価の中央値を使っていました。 Jevは揺れが誤差程度だったので、1回評価で作り直しました。 7.5Mtok, $0.3165, 5分23秒 https://github.com/7shi/multilingual-reader/blob/main/examples/tr/README.md…

Поширення оцінки стабільності багатомовного перекладу моделі Jev 1
· 2 likesOpen on X