Jev проти моделей генерації тексту
Jev не генерує довільний текст. Порівняльне відео показує різницю між паралельним ухваленням рішень і генерацією тексту токен за токеном.
Каскадний шаблон проєктування для моделей типу Jev
Представляє недооцінений каскадний шаблон, де мала модель відповідає на все, а велика — лише на невизначені випадки, з першими даними.
Very underutilized design pattern no one is talking about (yet) for Jev-like models: cascade. A small model answers everything. A big model answers only what the small one is unsure about. In my runs the big one handled 13% of questions and the pair matched it alone — 90 vs
· 1 likesOpen on X
More like this
Ціни, оцінювання і походження назви Jev
Тред запуску пояснює оцінки робочих процесів code + AI, оголошену ціну вхідних токенів і безкоштовні вихідні токени.
Модель Jev: генерація ймовірностей для прийняття рішень, у 200 разів швидша та в 400 разів дешевша за LLM
Ця модель створена для прийняття рішень, а не генерації тексту: вона видає ймовірності для кожного варіанту паралельно, а не відповідь токен за токеном. Автор наводить спрощене порівняння звичайних LLM із цією моделлю Jev.
