Back to explore

Evaluatie van Jev-model op BANKING77 en analyse van adversarial injectie

De gerefereerde blog meldt dat Jev op BANKING77 een zero-shot nauwkeurigheid van 81,2% behaalt, onder de 89,9% van MiniLM+lineaire kop; geïnjecteerde tekst verplaatste de voorspellingskans van 0,76 naar 0,48, wat wijst op een potentieel veiligheidsrisico.

⚠️ Caveats: • Vendor evals score agreement with GPT-6 Astra + Fable 5.1, not ground truth • BANKING77 (@manojlds): MiniLM + linear head 89.9%, Jev zero-shot 81.2% • Injected text moved a block prob 0.76 → 0.48 https://stacktoheap.com/blog/2026/09/22/jev-attack-of-the-classifiers/…

Evaluatie van Jev-model op BANKING77 en analyse van adversarial injectie 1
· 1 likesOpen on X