Back to explore

Оценка стабильности многоязычного перевода модели Jev

Ранее автор тестировал многоязычный перевод LLM с Qwen 3.6, что требовало множественных оценок из-за высокой вариативности. После перехода на Jev вариативность была минимальной, поэтому достаточно одной оценки. Пример: 7,5 млн токенов, $0,3165, 5 мин 23 с.

LLMの英語からの多言語翻訳能力のテストは、今までQwen 3.6で評価していましたが、揺れが大きく、温度0だとその1つを固定することになるので、3回評価の中央値を使っていました。 Jevは揺れが誤差程度だったので、1回評価で作り直しました。 7.5Mtok, $0.3165, 5分23秒 https://github.com/7shi/multilingual-reader/blob/main/examples/tr/README.md…

Оценка стабильности многоязычного перевода модели Jev 1
· 2 likesOpen on X