Back to explore

Jev と LLM の推論方式の違い

デモで Jev と従来の LLM を比較。LLM はトークンを逐次生成するのに対し、Jev は文字列を生成せず、判断の確率を並列に一度で出力する。

LLM 是把答案“写出来”,Jev 是把判断概率直接“算出来”。 这个 Demo 很直观地展示了 Jev 和传统 LLM 的区别:LLM 是一个 Token 一个 Token 地生成答案,而 Jev 不生成字符串,而是直接把所有判断的概率一次性并行输出。 TypeSafe 认为,字符串虽然非常通用,但代价也很高。Jev

· 0 likesOpen on X