Jev dan CodeGraph untuk review keamanan
Proyek typesafe-security-review menggabungkan penilaian probabilistik Jev dengan grafik kode dan data OWASP/CWE untuk pemindaian keamanan berbiaya rendah.
Blog yang dirujuk melaporkan akurasi zero-shot Jev sebesar 81,2% pada BANKING77, di bawah MiniLM+linear head yang mencapai 89,9%; teks yang disuntikkan memindahkan probabilitas prediksi dari 0,76 ke 0,48, menunjukkan potensi risiko keamanan.
⚠️ Caveats: • Vendor evals score agreement with GPT-6 Astra + Fable 5.1, not ground truth • BANKING77 (@manojlds): MiniLM + linear head 89.9%, Jev zero-shot 81.2% • Injected text moved a block prob 0.76 → 0.48 https://stacktoheap.com/blog/2026/09/22/jev-attack-of-the-classifiers/…