Back to explore

การประเมินโมเดล Jev บน BANKING77 และการวิเคราะห์การฉีด adversarial

บล็อกที่อ้างถึงรายงานความแม่นยำ zero-shot ของ Jev ที่ 81.2% บน BANKING77 ต่ำกว่า MiniLM+linear head ที่ 89.9% ข้อความที่ฉีดเข้าไปทำให้ความน่าจะเป็นในการทำนายเปลี่ยนจาก 0.76 เป็น 0.48 ซึ่งบ่งชี้ถึงความเสี่ยงด้านความปลอดภัยที่อาจเกิดขึ้น

⚠️ Caveats: • Vendor evals score agreement with GPT-6 Astra + Fable 5.1, not ground truth • BANKING77 (@manojlds): MiniLM + linear head 89.9%, Jev zero-shot 81.2% • Injected text moved a block prob 0.76 → 0.48 https://stacktoheap.com/blog/2026/09/22/jev-attack-of-the-classifiers/…

การประเมินโมเดล Jev บน BANKING77 และการวิเคราะห์การฉีด adversarial 1
· 1 likesOpen on X