Back to explore

Khác biệt suy luận giữa Jev và LLM

Demo so sánh Jev với LLM truyền thống: LLM tạo từng token một, còn Jev không tạo chuỗi mà xuất song song tất cả xác suất phán đoán.

LLM 是把答案“写出来”,Jev 是把判断概率直接“算出来”。 这个 Demo 很直观地展示了 Jev 和传统 LLM 的区别:LLM 是一个 Token 一个 Token 地生成答案,而 Jev 不生成字符串,而是直接把所有判断的概率一次性并行输出。 TypeSafe 认为,字符串虽然非常通用,但代价也很高。Jev

· 0 likesOpen on X