Создание классификатора кодовой базы с помощью Jev
Разработчик делится созданием классификатора кодовой базы с помощью Jev, предполагая, что это может решить проблему переусложнённого кода от агентов, и спрашивает, что тестировать дальше.
Jev находит 6/7 дефектов при скорости в 25 раз выше
Согласно посту, Jev поймал 6/7 внедрённых проблем в тесте дефектов Every (против 7/7 у Fable 5.1) примерно в 25 раз быстрее. Автор рекомендует зафиксировать jev-1.13.0, логировать log probs и версию при каждом вызове и перенастраивать пороги на своих собственных метках.
In Every's defect test (@danshipper) Jev caught 6/7 planted issues vs 7/7 for Fable 5.1, at ~25x the speed. Pin jev-1.13.0, log probs + version on every call, recalibrate thresholds on your own labels. https://every.to/vibe-check/mini-vibe-check-typesafe-s-jev-judged-everything-i-ve-written-in-0-7-seconds…
· 0 likesOpen on X
More like this
Jev обеспечивает LLM-as-a-Judge в 20–200 раз быстрее и в 40–400 раз дешевле
Jev использовался для выбора модели AGI, обеспечивая в 20–200 раз большую скорость и в 40–400 раз меньшую стоимость, делая LLM-as-a-judge чрезвычайно быстрым и почти бесплатным.
Тестирование приложений с TypeSafe Jev и OpenCode
Filip делится небольшим демо, показывающим скорость тестирования приложений с TypeSafe Jev и OpenCode.
