Back to explore

Bewertung des Jev-Modells auf BANKING77 und Analyse adversarischer Injektion

Der referenzierte Blog berichtet, dass Jev auf BANKING77 eine Zero-Shot-Genauigkeit von 81,2 % erreicht, unter den 89,9 % von MiniLM+linearer Kopf; injizierter Text verschob die Vorhersagewahrscheinlichkeit von 0,76 auf 0,48, was auf ein potenzielles Sicherheitsrisiko hindeutet.

⚠️ Caveats: • Vendor evals score agreement with GPT-6 Astra + Fable 5.1, not ground truth • BANKING77 (@manojlds): MiniLM + linear head 89.9%, Jev zero-shot 81.2% • Injected text moved a block prob 0.76 → 0.48 https://stacktoheap.com/blog/2026/09/22/jev-attack-of-the-classifiers/…

Bewertung des Jev-Modells auf BANKING77 und Analyse adversarischer Injektion 1
· 1 likesOpen on X