Back to explore

Evaluación del modelo Jev en BANKING77 y análisis de inyección adversarial

El blog citado indica que Jev logra una precisión zero-shot de 81.2% en BANKING77, inferior al 89.9% de MiniLM+head lineal; el texto inyectado movió la probabilidad de predicción de 0.76 a 0.48, lo que sugiere un posible riesgo de seguridad.

⚠️ Caveats: • Vendor evals score agreement with GPT-6 Astra + Fable 5.1, not ground truth • BANKING77 (@manojlds): MiniLM + linear head 89.9%, Jev zero-shot 81.2% • Injected text moved a block prob 0.76 → 0.48 https://stacktoheap.com/blog/2026/09/22/jev-attack-of-the-classifiers/…

Evaluación del modelo Jev en BANKING77 y análisis de inyección adversarial 1
· 1 likesOpen on X