Jev เทียบกับโมเดลสร้างข้อความ
Jev ไม่สร้างข้อความแบบอิสระ วิดีโอเปรียบเทียบแสดงความต่างระหว่างการตัดสินใจแบบขนานกับการสร้างข้อความทีละโทเคน
คะแนน Jev สำหรับ diff ที่เหมือนกันเปลี่ยนตามลำดับอาร์กิวเมนต์และป้ายกำกับ
ผู้ใช้ให้ Jev เปรียบเทียบ diff ที่เหมือนกันสองรายการติดป้าย A และ B แล้วถามว่าอันไหนดีกว่า พบว่าลำดับอาร์กิวเมนต์และป้ายกำกับมีผลต่อคะแนน โดย A อยู่ที่ประมาณ 0.95 และผลเปลี่ยนเมื่อสลับลำดับ
(2/5) hit some wild results. argument order and labels both move the score i gave jev 2 identical diffs (labelled A and B) and asked which is better. the results were shocking: fork A at 0.95 (five runs: 0.95, 0.96, 0.95, 0.96, 0.96) put B first with the same names and A is
· 2 likesOpen on X
More like this
ราคา การประเมิน และที่มาของชื่อ Jev
เธรดเปิดตัวอธิบายการประเมินเวิร์กโฟลว์ code + AI ราคาอินพุตตอนเปิดตัว และโทเคนเอาต์พุตฟรี
โมเดล Jev: การสร้างความน่าจะเป็นสำหรับการตัดสินใจ เร็วกว่า 200 เท่าและถูกกว่า 400 เท่าเมื่อเทียบกับ LLM
โมเดลนี้ออกแบบมาสำหรับการตัดสินใจแทนการสร้างข้อความ โดยสร้างความน่าจะเป็นสำหรับแต่ละตัวเลือกแบบขนาน แทนที่จะตอบทีละโทเค็น ผู้เขียนยกตัวอย่างเปรียบเทียบแบบง่ายระหว่าง LLM ทั่วไปกับโมเดล Jev นี้
