การทดสอบเขาวงกตเพิ่มเติมสำหรับ Jev
จากกรอบการทดสอบของ @karminski3 ผู้เขียนเพิ่มผลลัพธ์หลายชุดสำหรับ Jev ในปัญหาเขาวงกต และเปรียบเทียบกับการเดินแบบสุ่มและอัลกอริทึมเขาวงกตแบบมืออาชีพ
THE JEV GUIDE · CURATED EDITION
ข่าวเปิดตัว คำอธิบาย เดโม และโปรเจกต์ชุมชนเกี่ยวกับ TypeSafe Jev จัดตามหัวข้อ แต่ละรายการลิงก์กลับไปยังโพสต์ต้นทางบน X
คัดสรรโดยทีม · ไม่ครบทั้งหมด · อัปเดตด้วยมือ
01 / EXPLORE
0 means awaiting a verified post
จากกรอบการทดสอบของ @karminski3 ผู้เขียนเพิ่มผลลัพธ์หลายชุดสำหรับ Jev ในปัญหาเขาวงกต และเปรียบเทียบกับการเดินแบบสุ่มและอัลกอริทึมเขาวงกตแบบมืออาชีพ
ผู้เขียนใช้โมเดล Jev ใหม่ของ TypeSafe ใน Skills IL เพื่อสร้างเครื่องมือที่ตรวจจับข้อความฟิชชิ่งธนาคารที่ได้รับผ่าน SMS, WhatsApp หรืออีเมล ผู้ใช้สามารถวางข้อความต้องสงสัยเพื่อตรวจสอบได้
มีคนสร้างไดเรกทอรีขนาดใหญ่เกี่ยวกับทุกอย่างที่เกี่ยวข้องกับ Jev รวมถึงทักษะ repositories โพสต์ X/Reddit ทรัพยากร เว็บไซต์ และอื่น ๆ อีกมากมาย พร้อมกรองตามกรณีการใช้งาน
ผู้เขียนแนะนำว่าไม่ควรถือว่าค่าที่ส่งกลับจาก Jev ถูกต้องเสมอไป แต่ควรสนใจ confidence สำหรับประเภท Choice ควรเพิ่มตัวเลือก cannot_tell เพื่อหลีกเลี่ยงการตัดสินผิด
ผู้เขียนคิดว่า Jev ไม่เหมาะสำหรับการตรวจจับเนื้อหาที่สร้างโดย AI ตัวตรวจจับ AI ทั้งหมดเหมือนกันและไร้ประโยชน์เว้นแต่ความแม่นยำจะเกิน 90% และแนะนำ API อื่น Link
ผู้เขียนทดลองให้ Jev แก้ซูโดกุ ระบุว่าพรอมพ์ค่อนข้างยากแต่เร็ว และกล่าวว่า LLM ถูกกล่าวว่ายากกับซูโดกุ
ผู้เขียนกล่าวว่า Jev 1.13 อาจแทนที่โมเดลภาษาขนาดใหญ่สำหรับบางงาน
Rajeshsam กล่าวว่ากระแสของ AI ดูเหมือนจะกลับไปสู่วิทยาการข้อมูลแบบดั้งเดิมด้วยตัวจำแนก System 1 (เช่น Jev) เขาโต้แย้งว่าการตอบสนองที่มีโครงสร้างแบบ typed และการให้เหตุผลเชิงกำหนดใน Python ผ่าน hook ดีกว่าปล่อยให้โมเดลเดาการควบคุมโฟลว์ ปล่อยความคลุมเครือไว้ที่ขอบเขตการนำเข้า
การรันซ้ำของชุมชนพบว่า Jev และ GPT-5.4 แทบไม่ต่างกันทางสถิติ (ห่าง 3.3 จุด) โดย Jev มีต้นทุนประมาณหนึ่งในห้าสิบ Link
นักพัฒนา Tal Saiag แชร์แพตเทิร์น Jev: ทุกการเรียกจงใจทิ้งสถานะชิ้นเล็ก ๆ ไว้สำหรับการเรียก Jev ครั้งถัดไป เขาเรียกว่า 'Jev carry state'
ผู้ใช้แบ่งปันบทเรียนจากการทดลองกับ Jev: ต้องใช้พรอมต์ที่ชัดเจนเหมือนโมเดลระดับ GPT-4 รุ่นเก่า ราคาถูกมาก และปรับจูนประมาณ 8 ชั่วโมงกับ Astra
Wildan ทวีตว่าถึงเวลาแล้วที่ Claude จะใช้ Jev จาก TypeSafe AI