Back to explore

Jev modelinin BANKING77 üzerinde değerlendirilmesi ve çekişmeli enjeksiyon analizi

Bahsedilen blog, Jev'in BANKING77'de zero-shot doğruluğunun %81,2 olduğunu ve MiniLM+lineer başlığın %89,9'unun altında kaldığını bildiriyor; enjekte edilen metin tahmin olasılığını 0,76'dan 0,48'e taşıyarak potansiyel bir güvenlik riskine işaret ediyor.

⚠️ Caveats: • Vendor evals score agreement with GPT-6 Astra + Fable 5.1, not ground truth • BANKING77 (@manojlds): MiniLM + linear head 89.9%, Jev zero-shot 81.2% • Injected text moved a block prob 0.76 → 0.48 https://stacktoheap.com/blog/2026/09/22/jev-attack-of-the-classifiers/…

Jev modelinin BANKING77 üzerinde değerlendirilmesi ve çekişmeli enjeksiyon analizi 1
· 1 likesOpen on X