Jev проти моделей генерації тексту
Jev не генерує довільний текст. Порівняльне відео показує різницю між паралельним ухваленням рішень і генерацією тексту токен за токеном.
Як оцінити точність Jev
Обговорюється, що Jev не може вигадати відповідь поза попередньо визначеною схемою, але все ще може вибрати неправильну відповідь у ній, іноді з високою впевненістю, і порушуються питання оцінки в сценаріях з низьким ризиком.
Jev is cool, but the question I’ve heard most over the past few days is: how do we evaluate its accuracy? 🤔 Jev cannot invent an answer outside a predefined schema, but it still can choose the wrong answer within it, sometimes even with high confidence. For low-stakes,
· 3 likesOpen on X
More like this
Ціни, оцінювання і походження назви Jev
Тред запуску пояснює оцінки робочих процесів code + AI, оголошену ціну вхідних токенів і безкоштовні вихідні токени.
Модель Jev: генерація ймовірностей для прийняття рішень, у 200 разів швидша та в 400 разів дешевша за LLM
Ця модель створена для прийняття рішень, а не генерації тексту: вона видає ймовірності для кожного варіанту паралельно, а не відповідь токен за токеном. Автор наводить спрощене порівняння звичайних LLM із цією моделлю Jev.
