Jev проти моделей генерації тексту
Jev не генерує довільний текст. Порівняльне відео показує різницю між паралельним ухваленням рішень і генерацією тексту токен за токеном.
Jev проти Gemini: тест структурованого виводу
Автор розширив пакет до приблизно 300 питань на виклик. Jev успішно відповів, тоді як Gemini відхилив усі запити перед генерацією. Вхідні дані становили лише ~55k токенів у контекстному вікні ~1M, що вказує на проблему в тому, як Gemini забезпечує структурований вивід.
5/7 Then I widened the batch to roughly 300 questions per call. ✅ Jev answered. ❌ Gemini rejected all 300 test requests before generating anything. The input was only ~55k tokens in a ~1M-token context window. The problem was how Gemini enforces structured output using a
· 0 likesOpen on X
More like this
Ціни, оцінювання і походження назви Jev
Тред запуску пояснює оцінки робочих процесів code + AI, оголошену ціну вхідних токенів і безкоштовні вихідні токени.
Модель Jev: генерація ймовірностей для прийняття рішень, у 200 разів швидша та в 400 разів дешевша за LLM
Ця модель створена для прийняття рішень, а не генерації тексту: вона видає ймовірності для кожного варіанту паралельно, а не відповідь токен за токеном. Автор наводить спрощене порівняння звичайних LLM із цією моделлю Jev.
