JevとCodeGraphによるセキュリティレビュー
typesafe-security-reviewプロジェクトは、Jevの確率判断をコードグラフやOWASP/CWEデータと組み合わせ、低コストのセキュリティスキャンに使います。
5000語の記事に50個のプロンプトインジェクションを隠した実験で、JevとClefは50個全てを検出し誤報は1件以下、Horizon Guardは50件中46件を誤報した。
But why would you even want decision model for injection detection when classifiers do the work? Additional experiment: hid 50 prompt injections in the middle of 5,000-word articles. Jev and Clef caught all 50 with ≤ 1 false flag. Horizon Guard also caught 50, but flagged 46/50