Создание классификатора кодовой базы с помощью Jev
Разработчик делится созданием классификатора кодовой базы с помощью Jev, предполагая, что это может решить проблему переусложнённого кода от агентов, и спрашивает, что тестировать дальше.
Jev хорош в zero-shot классификации, но специализированные классификаторы доминируют в коммерческих сценариях
Josh отмечает, что Jev хорошо показывает себя в zero-shot классификации, но в коммерческих условиях специализированные классификаторы более выгодны. Он упоминает, что @trycua настроил крошечную модель, показавшую 99,7% в оценке заполнения форм, тогда как размещённый Jev показал 83,6%, и делится опытом настройки GLiNER 2.5 за 51 минуту.
Jev is great at zero-shot classification, but specialist classifiers will dominate commercial use cases. @trycua tuned a tiny model that scored 99.7% on their form-filling eval. Hosted Jev scored 83.6%. I tuned GLiNER 2.5 on a task in 51 minutes yesterday and it crushes
· 432 likesOpen on X
More like this
Jev обеспечивает LLM-as-a-Judge в 20–200 раз быстрее и в 40–400 раз дешевле
Jev использовался для выбора модели AGI, обеспечивая в 20–200 раз большую скорость и в 40–400 раз меньшую стоимость, делая LLM-as-a-judge чрезвычайно быстрым и почти бесплатным.
Тестирование приложений с TypeSafe Jev и OpenCode
Filip делится небольшим демо, показывающим скорость тестирования приложений с TypeSafe Jev и OpenCode.
