สร้างตัวจำแนกโค้ดเบสด้วย Jev
นักพัฒนแชร์การสร้างตัวจำแนกโค้ดเบสด้วย Jev โดยเสนอว่าอาจแก้ปัญหาโค้ดที่ซับซ้อนเกินไปจากเอเจนต์ และถามว่าควรทดสอบอะไรต่อไป
Simple Jev: เปลี่ยนโมเดลเปิดให้เป็นอินเทอร์เฟซการตัดสินใจแบบมีโครงสร้าง
Simple Jev ใช้ KV cache ของบริบทที่แชร์ร่วมกัน อ่านเฉพาะ logits ของโทเคนถัดไปของป้ายชื่อผู้สมัคร และประกอบ choice, score และการตัดสินความจริงฝั่งเซิร์ฟเวอร์ ลดการถอดรหัสทีละโทเคนและการสร้าง JSON
如果分类结果最终要喂给业务系统，生成一段 JSON 往往不是最省事的路径。Simple Jev 把开放模型变成结构化决策接口。 https://github.com/featherless-ai/simple-jev… 它复用共享上下文的 KV cache，只读取各问题候选标签的下一 token logits，再由服务端组装 choice、score 和真值判断。省掉逐 token 解码与 JSON
· 1 likesOpen on X
More like this
Jev ทำให้ LLM-as-a-Judge เร็วขึ้น 20–200 เท่า และถูกลง 40–400 เท่า
Jev ถูกใช้เพื่อเลือกว่าโมเดลใดคือ AGI โดยให้ความเร็ว 20–200 เท่าและต้นทุนต่ำลง 40–400 เท่า ทำให้ LLM-as-a-judge เร็วมากและเกือบฟรี
ทดสอบแอปด้วย TypeSafe Jev และ OpenCode
Filip แชร์เดโมเล็กๆ ที่แสดงความเร็วในการทดสอบแอปด้วย TypeSafe Jev และ OpenCode
