Jev проти моделей генерації тексту
Jev не генерує довільний текст. Порівняльне відео показує різницю між паралельним ухваленням рішень і генерацією тексту токен за токеном.
Jev і моделі System 1: новий напрямок поза генерацією
У цьому треді автор припускає, що проблема може бути не в генерації тексту як такій, і згадує Jev від TypeSafe AI як приклад моделі System 1, призначеної для іншого завдання.
1/ 🧵 We’ve spent years making LLMs better at generating text. But what if the problem was never generation in the first place? This is where System 1 models, like Jev from TypeSafe AI, get interesting. They’re designed for a different job.
· 0 likesOpen on X
More like this
Ціни, оцінювання і походження назви Jev
Тред запуску пояснює оцінки робочих процесів code + AI, оголошену ціну вхідних токенів і безкоштовні вихідні токени.
Модель Jev: генерація ймовірностей для прийняття рішень, у 200 разів швидша та в 400 разів дешевша за LLM
Ця модель створена для прийняття рішень, а не генерації тексту: вона видає ймовірності для кожного варіанту паралельно, а не відповідь токен за токеном. Автор наводить спрощене порівняння звичайних LLM із цією моделлю Jev.
