Jev проти моделей генерації тексту
Jev не генерує довільний текст. Порівняльне відео показує різницю між паралельним ухваленням рішень і генерацією тексту токен за токеном.
Патерн, що працює з Jev: спочатку класифікація, потім генерація
Користувач ділиться практикою з Jev: спочатку класифікація, потім генерація; той самий підхід застосовано до відбору тредів Reddit, що знизило вартість пайплайну ~у 30 разів; роутер тепер має це вбудованим.
this is the pattern that actually works with jev: classify first, generate second. we do the same thing one layer up for reddit threads (cited by ai / not cited / worth replying), and it cut our pipeline cost ~30x. nice to see it built into the router
· 1 likesOpen on X
More like this
Ціни, оцінювання і походження назви Jev
Тред запуску пояснює оцінки робочих процесів code + AI, оголошену ціну вхідних токенів і безкоштовні вихідні токени.
Модель Jev: генерація ймовірностей для прийняття рішень, у 200 разів швидша та в 400 разів дешевша за LLM
Ця модель створена для прийняття рішень, а не генерації тексту: вона видає ймовірності для кожного варіанту паралельно, а не відповідь токен за токеном. Автор наводить спрощене порівняння звичайних LLM із цією моделлю Jev.
