Back to explore

Jev vs LLM: differenze di inferenza

Una demo confronta Jev con gli LLM tradizionali: gli LLM generano token uno alla volta, mentre Jev non genera stringhe ma emette in parallelo tutte le probabilità di giudizio.

LLM 是把答案“写出来”,Jev 是把判断概率直接“算出来”。 这个 Demo 很直观地展示了 Jev 和传统 LLM 的区别:LLM 是一个 Token 一个 Token 地生成答案,而 Jev 不生成字符串,而是直接把所有判断的概率一次性并行输出。 TypeSafe 认为,字符串虽然非常通用,但代价也很高。Jev

· 0 likesOpen on X