Back to explore

Évaluation du modèle Jev sur BANKING77 et analyse d'injection adversarial

Le blog référencé indique que Jev obtient une précision zero-shot de 81,2 % sur BANKING77, inférieure aux 89,9 % de MiniLM + tête linéaire ; le texte injecté a fait passer la probabilité de prédiction de 0,76 à 0,48, suggérant un risque de sécurité potentiel.

⚠️ Caveats: • Vendor evals score agreement with GPT-6 Astra + Fable 5.1, not ground truth • BANKING77 (@manojlds): MiniLM + linear head 89.9%, Jev zero-shot 81.2% • Injected text moved a block prob 0.76 → 0.48 https://stacktoheap.com/blog/2026/09/22/jev-attack-of-the-classifiers/…

Évaluation du modèle Jev sur BANKING77 et analyse d'injection adversarial 1
· 1 likesOpen on X