JevとCodeGraphによるセキュリティレビュー
typesafe-security-reviewプロジェクトは、Jevの確率判断をコードグラフやOWASP/CWEデータと組み合わせ、低コストのセキュリティスキャンに使います。
参照ブログによると、Jev は BANKING77 で zero-shot 精度 81.2% であり、MiniLM+線形ヘッドの 89.9% を下回ります。注入テキストにより予測確率が 0.76 から 0.48 に変化し、潜在的なセキュリティリスクを示唆します。
⚠️ Caveats: • Vendor evals score agreement with GPT-6 Astra + Fable 5.1, not ground truth • BANKING77 (@manojlds): MiniLM + linear head 89.9%, Jev zero-shot 81.2% • Injected text moved a block prob 0.76 → 0.48 https://stacktoheap.com/blog/2026/09/22/jev-attack-of-the-classifiers/…