Back to explore

Оцінка моделі Jev на BANKING77 та аналіз змагальних ін'єкцій

У згаданому блозі повідомляється, що Jev досягає точності zero-shot 81,2% на BANKING77, що нижче 89,9% у MiniLM+лінійна голова; ін'єктований текст змістив імовірність прогнозу з 0,76 до 0,48, що вказує на потенційний ризик безпеки.

⚠️ Caveats: • Vendor evals score agreement with GPT-6 Astra + Fable 5.1, not ground truth • BANKING77 (@manojlds): MiniLM + linear head 89.9%, Jev zero-shot 81.2% • Injected text moved a block prob 0.76 → 0.48 https://stacktoheap.com/blog/2026/09/22/jev-attack-of-the-classifiers/…

Оцінка моделі Jev на BANKING77 та аналіз змагальних ін'єкцій 1
· 1 likesOpen on X