Back to explore

Avaliação do modelo Jev no BANKING77 e análise de injeção adversarial

O blog referenciado relata que o Jev atinge 81,2% de precisão zero-shot no BANKING77, abaixo dos 89,9% do MiniLM+head linear; texto injetado moveu a probabilidade de previsão de 0,76 para 0,48, sugerindo um possível risco de segurança.

⚠️ Caveats: • Vendor evals score agreement with GPT-6 Astra + Fable 5.1, not ground truth • BANKING77 (@manojlds): MiniLM + linear head 89.9%, Jev zero-shot 81.2% • Injected text moved a block prob 0.76 → 0.48 https://stacktoheap.com/blog/2026/09/22/jev-attack-of-the-classifiers/…

Avaliação do modelo Jev no BANKING77 e análise de injeção adversarial 1
· 1 likesOpen on X