返回探索

Jev 与 LLM 的推理方式对比

帖子用 Demo 对比 Jev 与传统 LLM:LLM 逐 Token 生成字符串,Jev 不生成字符串,而是并行输出所有判断的概率。

LLM 是把答案“写出来”,Jev 是把判断概率直接“算出来”。 这个 Demo 很直观地展示了 Jev 和传统 LLM 的区别:LLM 是一个 Token 一个 Token 地生成答案,而 Jev 不生成字符串,而是直接把所有判断的概率一次性并行输出。 TypeSafe 认为,字符串虽然非常通用,但代价也很高。Jev

· 0 次赞在 X 打开