返回探索

Jev 模型在 BANKING77 评测与对抗注入分析

帖子引用的博客指出,Jev 在 BANKING77 上的 zero-shot 准确率为 81.2%,低于 MiniLM+线性头的 89.9%;注入文本可将预测概率从 0.76 降至 0.48,提示潜在安全风险。

⚠️ Caveats: • Vendor evals score agreement with GPT-6 Astra + Fable 5.1, not ground truth • BANKING77 (@manojlds): MiniLM + linear head 89.9%, Jev zero-shot 81.2% • Injected text moved a block prob 0.76 → 0.48 https://stacktoheap.com/blog/2026/09/22/jev-attack-of-the-classifiers/…

Jev 模型在 BANKING77 评测与对抗注入分析 1
· 1 次赞在 X 打开