Jev и CodeGraph для проверки безопасности
Проект typesafe-security-review объединяет вероятностные оценки Jev с графом кода и данными OWASP/CWE для недорогого сканирования безопасности.
Оценка модели Jev на BANKING77 и анализ состязательных инъекций
В указанном блоге сообщается, что Jev показывает точность zero-shot 81,2% на BANKING77, что ниже 89,9% у MiniLM+линейная голова; инъецированный текст сдвинул вероятность предсказания с 0,76 до 0,48, что указывает на потенциальный риск безопасности.
⚠️ Caveats: • Vendor evals score agreement with GPT-6 Astra + Fable 5.1, not ground truth • BANKING77 (@manojlds): MiniLM + linear head 89.9%, Jev zero-shot 81.2% • Injected text moved a block prob 0.76 → 0.48 https://stacktoheap.com/blog/2026/09/22/jev-attack-of-the-classifiers/…
· 1 likesOpen on X
More like this
Jev обеспечивает в 5 раз более дешёвые и точные результаты в security-пайплайнах
Пользователь делится опытом использования Jev в security-пайплайне: более чем в 5 раз дешевле, быстрее и точнее, чем меньшие и менее способные модели.
Сценарии использования и демо Jev в области ИИ-безопасности
Представляет сценарии использования и демо Jev в области ИИ-безопасности с использованием модели выбора и вероятностей в связке с Unity AI Gateway и MLflow.
