Back to explore

BANKING77에서 Jev 모델 평가 및 적대적 주입 분석

참조된 블로그에 따르면 Jev는 BANKING77에서 zero-shot 정확도 81.2%로 MiniLM+선형 헤드의 89.9%보다 낮습니다. 주입된 텍스트는 예측 확률을 0.76에서 0.48로 이동시켜 잠재적 보안 위험을 시사합니다.

⚠️ Caveats: • Vendor evals score agreement with GPT-6 Astra + Fable 5.1, not ground truth • BANKING77 (@manojlds): MiniLM + linear head 89.9%, Jev zero-shot 81.2% • Injected text moved a block prob 0.76 → 0.48 https://stacktoheap.com/blog/2026/09/22/jev-attack-of-the-classifiers/…

BANKING77에서 Jev 모델 평가 및 적대적 주입 분석 1
· 1 likesOpen on X