JevとCodeGraphによるセキュリティレビュー
typesafe-security-reviewプロジェクトは、Jevの確率判断をコードグラフやOWASP/CWEデータと組み合わせ、低コストのセキュリティスキャンに使います。
著者はJevを他のモデルと比較し、独自のAIセキュリティ検証セット、独立した難易度の高い良性ベンチマーク、第三者による難易度の高い良性ベンチマークで評価した結果、Jevは悪くないが本番環境対応ではなく、エアギャップでもないと結論付けた。
Because everybody here is comparing Jev with other models. I compared Jev on our #AISecurity Validation set, a independent hard benign benchmark, and a third party hard benign one. Result: #Jev is far from bad but not production ready. Also not air gapped.