Створення класифікатора кодової бази з Jev
Розробник ділиться створенням класифікатора кодової бази з Jev, припускаючи, що це може вирішити проблему переускладненого коду від агентів, і запитує, що тестувати далі.
Jev чудово працює в zero-shot класифікації, але спеціалізовані класифікатори домінують у комерційних сценаріях
Josh зазначає, що Jev добре працює в zero-shot класифікації, але в комерційних умовах спеціалізовані класифікатори вигідніші. Він згадує, що @trycua налаштував крихітну модель, яка отримала 99,7% в оцінці заповнення форм, тоді як розміщений Jev отримав 83,6%, і ділиться досвідом налаштування GLiNER 2.5 за 51 хвилину.
Jev is great at zero-shot classification, but specialist classifiers will dominate commercial use cases. @trycua tuned a tiny model that scored 99.7% on their form-filling eval. Hosted Jev scored 83.6%. I tuned GLiNER 2.5 on a task in 51 minutes yesterday and it crushes
· 432 likesOpen on X
More like this
Jev забезпечує LLM-as-a-Judge у 20–200 разів швидше та у 40–400 разів дешевше
Jev використано для вибору моделі AGI, забезпечуючи у 20–200 разів більшу швидкість і у 40–400 разів меншу вартість, роблячи LLM-as-a-judge надзвичайно швидким і майже безкоштовним.
Тестування застосунків із TypeSafe Jev та OpenCode
Filip ділиться невеликим демо, що показує швидкість тестування застосунків із TypeSafe Jev та OpenCode.
