Jev เทียบกับโมเดลสร้างข้อความ
Jev ไม่สร้างข้อความแบบอิสระ วิดีโอเปรียบเทียบแสดงความต่างระหว่างการตัดสินใจแบบขนานกับการสร้างข้อความทีละโทเคน
เอนจิน LLM โลคัลสไตล์ Jev: ประมวลผล 40ms เฉพาะการตัดสิน
Taro L. Saito ระบุว่าเช่นเดียวกับ Jev เอนจิน LLM โลคัลบรรลุการประมวลผล 40ms ด้วยการทิ้งการสร้างข้อความ/JSON และมุ่งเฉพาะการตัดสิน ทำงานบน DGX Spark
Just like Jev, to think that a Local LLM engine capable of inference in 40ms is realized simply by abandoning text/json generation and specializing solely in judgment. It's running on DGX Spark, but anyway, it's incredibly fast.
· 1.3K likesOpen on X
More like this
ราคา การประเมิน และที่มาของชื่อ Jev
เธรดเปิดตัวอธิบายการประเมินเวิร์กโฟลว์ code + AI ราคาอินพุตตอนเปิดตัว และโทเคนเอาต์พุตฟรี
โมเดล Jev: การสร้างความน่าจะเป็นสำหรับการตัดสินใจ เร็วกว่า 200 เท่าและถูกกว่า 400 เท่าเมื่อเทียบกับ LLM
โมเดลนี้ออกแบบมาสำหรับการตัดสินใจแทนการสร้างข้อความ โดยสร้างความน่าจะเป็นสำหรับแต่ละตัวเลือกแบบขนาน แทนที่จะตอบทีละโทเค็น ผู้เขียนยกตัวอย่างเปรียบเทียบแบบง่ายระหว่าง LLM ทั่วไปกับโมเดล Jev นี้
