สร้างตัวจำแนกโค้ดเบสด้วย Jev
นักพัฒนแชร์การสร้างตัวจำแนกโค้ดเบสด้วย Jev โดยเสนอว่าอาจแก้ปัญหาโค้ดที่ซับซ้อนเกินไปจากเอเจนต์ และถามว่าควรทดสอบอะไรต่อไป
Jev ตรวจจับข้อบกพร่อง 6/7 รายการด้วยความเร็ว 25 เท่า
ตามโพสต์ Jev จับ 6/7 ปัญหาที่ถูกปลูกไว้ในการทดสอบข้อบกพร่องของ Every (เทียบกับ 7/7 ของ Fable 5.1) ด้วยความเร็วประมาณ 25 เท่า ผู้เขียนแนะนำให้ปักรุ่น jev-1.13.0 บันทึก log probs และเวอร์ชันในทุกการเรียก และปรับเทียบเกณฑ์ใหม่บนป้ายกำกับของคุณเอง
In Every's defect test (@danshipper) Jev caught 6/7 planted issues vs 7/7 for Fable 5.1, at ~25x the speed. Pin jev-1.13.0, log probs + version on every call, recalibrate thresholds on your own labels. https://every.to/vibe-check/mini-vibe-check-typesafe-s-jev-judged-everything-i-ve-written-in-0-7-seconds…
· 0 likesOpen on X
More like this
Jev ทำให้ LLM-as-a-Judge เร็วขึ้น 20–200 เท่า และถูกลง 40–400 เท่า
Jev ถูกใช้เพื่อเลือกว่าโมเดลใดคือ AGI โดยให้ความเร็ว 20–200 เท่าและต้นทุนต่ำลง 40–400 เท่า ทำให้ LLM-as-a-judge เร็วมากและเกือบฟรี
ทดสอบแอปด้วย TypeSafe Jev และ OpenCode
Filip แชร์เดโมเล็กๆ ที่แสดงความเร็วในการทดสอบแอปด้วย TypeSafe Jev และ OpenCode
