Back to explore

Valutazione del modello Jev su BANKING77 e analisi dell'iniezione avversaria

Il blog citato riporta che Jev ottiene un'accuratezza zero-shot dell'81,2% su BANKING77, inferiore al 89,9% di MiniLM+testa lineare; il testo iniettato ha spostato la probabilità di previsione da 0,76 a 0,48, suggerendo un potenziale rischio di sicurezza.

⚠️ Caveats: • Vendor evals score agreement with GPT-6 Astra + Fable 5.1, not ground truth • BANKING77 (@manojlds): MiniLM + linear head 89.9%, Jev zero-shot 81.2% • Injected text moved a block prob 0.76 → 0.48 https://stacktoheap.com/blog/2026/09/22/jev-attack-of-the-classifiers/…

Valutazione del modello Jev su BANKING77 e analisi dell'iniezione avversaria 1
· 1 likesOpen on X