Создание классификатора кодовой базы с помощью Jev
Разработчик делится созданием классификатора кодовой базы с помощью Jev, предполагая, что это может решить проблему переусложнённого кода от агентов, и спрашивает, что тестировать дальше.
Сравнение Jev и Codex Luna в роли оценщиков на задачах «вкуса кода»
Автор запустил игрушечный пайплайн, разбивающий текстовые рубрики на структурированные ответы, чтобы сравнить Jev и Codex Luna в роли оценщиков на задачах «вкуса кода» в стиле FrontierCode.
ran a toy pipeline comparing jev vs codex luna as graders on FrontierCode style "code taste" tasks: decomposed text-based rubrics into structured answers (e.g. are all changes necessary? do all changes consistently use the abstractions required by the task?) -> run both models in
· 0 likesOpen on X
More like this
Jev обеспечивает LLM-as-a-Judge в 20–200 раз быстрее и в 40–400 раз дешевле
Jev использовался для выбора модели AGI, обеспечивая в 20–200 раз большую скорость и в 40–400 раз меньшую стоимость, делая LLM-as-a-judge чрезвычайно быстрым и почти бесплатным.
Тестирование приложений с TypeSafe Jev и OpenCode
Filip делится небольшим демо, показывающим скорость тестирования приложений с TypeSafe Jev и OpenCode.
