Back to explore

Jev와 LLM의 추론 방식 비교

데모를 통해 Jev와 기존 LLM을 비교한다. LLM은 토큰을 하나씩 생성하지만, Jev는 문자열을 생성하지 않고 모든 판단 확률을 병렬로 한 번에 출력한다.

LLM 是把答案“写出来”,Jev 是把判断概率直接“算出来”。 这个 Demo 很直观地展示了 Jev 和传统 LLM 的区别:LLM 是一个 Token 一个 Token 地生成答案,而 Jev 不生成字符串,而是直接把所有判断的概率一次性并行输出。 TypeSafe 认为,字符串虽然非常通用,但代价也很高。Jev

· 0 likesOpen on X