Jev проти моделей генерації тексту
Jev не генерує довільний текст. Порівняльне відео показує різницю між паралельним ухваленням рішень і генерацією тексту токен за токеном.
Модель прийняття рішень Kev-0.6B класу Jev виконує один прямий прохід на Apple Neural Engine
Kev-0.6B — це модель прийняття рішень класу Jev, що працює на Apple Neural Engine. Один прямий прохід, без генерації токенів, 7,18 мс на рішення з p99 7,53 мс. Розміщення ще не підтверджено; його вимірюють трьома способами: лише CPU повертає нулі, а інструмент Apple xctrace Neural Engine налічує 303.
Kev-0.6B, a Jev-class decision model, running on the Apple Neural Engine. One forward pass, no token generation. 7.18 ms per decision, p99 7.53. Placement isn't asserted yet, it's measured three ways: CPU-only returns zeros, Apple's xctrace Neural Engine instrument counts 303
· 1 likesOpen on X
More like this
Ціни, оцінювання і походження назви Jev
Тред запуску пояснює оцінки робочих процесів code + AI, оголошену ціну вхідних токенів і безкоштовні вихідні токени.
Модель Jev: генерація ймовірностей для прийняття рішень, у 200 разів швидша та в 400 разів дешевша за LLM
Ця модель створена для прийняття рішень, а не генерації тексту: вона видає ймовірності для кожного варіанту паралельно, а не відповідь токен за токеном. Автор наводить спрощене порівняння звичайних LLM із цією моделлю Jev.
