Створення класифікатора кодової бази з Jev
Розробник ділиться створенням класифікатора кодової бази з Jev, припускаючи, що це може вирішити проблему переускладненого коду від агентів, і запитує, що тестувати далі.
Jev виявляє 6/7 дефектів зі швидкістю в 25 разів вищою
Згідно з постом, Jev виявив 6/7 вбудованих проблем у тесті дефектів Every (проти 7/7 у Fable 5.1) приблизно в 25 разів швидше. Автор рекомендує зафіксувати версію jev-1.13.0, логувати log probs і версію при кожному виклику та переналаштовувати пороги на власних мітках.
In Every's defect test (@danshipper) Jev caught 6/7 planted issues vs 7/7 for Fable 5.1, at ~25x the speed. Pin jev-1.13.0, log probs + version on every call, recalibrate thresholds on your own labels. https://every.to/vibe-check/mini-vibe-check-typesafe-s-jev-judged-everything-i-ve-written-in-0-7-seconds…
· 0 likesOpen on X
More like this
Jev забезпечує LLM-as-a-Judge у 20–200 разів швидше та у 40–400 разів дешевше
Jev використано для вибору моделі AGI, забезпечуючи у 20–200 разів більшу швидкість і у 40–400 разів меншу вартість, роблячи LLM-as-a-judge надзвичайно швидким і майже безкоштовним.
Тестування застосунків із TypeSafe Jev та OpenCode
Filip ділиться невеликим демо, що показує швидкість тестування застосунків із TypeSafe Jev та OpenCode.
