Jev против моделей генерации текста
Jev не генерирует свободный текст. Сравнительное видео показывает различие между параллельным принятием решений и генерацией текста по токенам.
Как оценить точность Jev
Обсуждается, что Jev не может придумать ответ вне предопределённой схемы, но всё ещё может выбрать неправильный ответ внутри неё, иногда с высокой уверенностью, и поднимаются вопросы оценки в сценариях с низким риском.
Jev is cool, but the question I’ve heard most over the past few days is: how do we evaluate its accuracy? 🤔 Jev cannot invent an answer outside a predefined schema, but it still can choose the wrong answer within it, sometimes even with high confidence. For low-stakes,
· 3 likesOpen on X
More like this
Цены, оценки и происхождение названия Jev
Тред запуска объясняет оценки рабочих процессов code + AI, объявленную цену входных токенов и бесплатные выходные токены.
Модель Jev: генерация вероятностей для принятия решений, в 200 раз быстрее и в 400 раз дешевле LLM
Эта модель создана для принятия решений, а не генерации текста: она выдаёт вероятности для каждого варианта параллельно, а не ответ токен за токеном. Автор приводит упрощённый пример сравнения обычных LLM с этой моделью Jev.
