Jev проти моделей генерації тексту
Jev не генерує довільний текст. Порівняльне відео показує різницю між паралельним ухваленням рішень і генерацією тексту токен за токеном.
Jev від TypeSafe AI: судження та ймовірність без генерації
Автор узагальнює модель Jev від TypeSafe AI: вона повертає лише судження та ймовірності замість генерації тексту відповіді, і ділиться сценаріями використання.
自分も悩んでた「LLMに判断させるか、生成させるか」問題、ようやく整理できた気がする。 TypeSafe AIが出した「Jev」、回答文を一切生成せず判断と確率だけ返す設計が面白い。要点と、自分なら使う場面をまとめておく。 🧵 #AI実装ノウハウ
· 0 likesOpen on X
More like this
Ціни, оцінювання і походження назви Jev
Тред запуску пояснює оцінки робочих процесів code + AI, оголошену ціну вхідних токенів і безкоштовні вихідні токени.
Модель Jev: генерація ймовірностей для прийняття рішень, у 200 разів швидша та в 400 разів дешевша за LLM
Ця модель створена для прийняття рішень, а не генерації тексту: вона видає ймовірності для кожного варіанту паралельно, а не відповідь токен за токеном. Автор наводить спрощене порівняння звичайних LLM із цією моделлю Jev.
