Back to explore

BANKING77におけるJevモデル評価と敵対的注入分析

参照ブログによると、Jev は BANKING77 で zero-shot 精度 81.2% であり、MiniLM+線形ヘッドの 89.9% を下回ります。注入テキストにより予測確率が 0.76 から 0.48 に変化し、潜在的なセキュリティリスクを示唆します。

⚠️ Caveats: • Vendor evals score agreement with GPT-6 Astra + Fable 5.1, not ground truth • BANKING77 (@manojlds): MiniLM + linear head 89.9%, Jev zero-shot 81.2% • Injected text moved a block prob 0.76 → 0.48 https://stacktoheap.com/blog/2026/09/22/jev-attack-of-the-classifiers/…

BANKING77におけるJevモデル評価と敵対的注入分析 1
· 1 likesOpen on X