Jev et CodeGraph pour la revue de sécurité
Le projet typesafe-security-review combine les jugements probabilistes de Jev avec un graphe de code et des données OWASP/CWE pour un scan de sécurité peu coûteux.
Sur 800 prompts, les différents classificateurs d'injection de prompt échouent sur différents types d'attaques. Les erreurs de Jev se concentrent sur l'obfuscation technique, celles de Clef sur l'ingénierie sociale, et celles de Wolf sur les astuces linguistiques et la manipulation du contexte. Horizon Guard ne manque que 5 cas (mais...).
Prompt-injection classifiers don't just differ in accuracy. They break on different attacks. Across 800 prompts, Jev misses cluster in technical obfuscation, Clef in social engineering, and Wolf's in linguistic tricks and context manipulation. Horizon Guard misses only 5 (but it