Jev tegenover tekstgenererende modellen
Jev genereert geen vrije tekst. Een video vergelijkt parallel beslissen met token voor token tekstgeneratie.
Kev-0.6B Jev-klasse beslissingsmodel voert één forward pass uit op de Apple Neural Engine
Kev-0.6B is een Jev-klasse beslissingsmodel dat draait op de Apple Neural Engine. Eén forward pass, geen token-generatie, 7,18 ms per beslissing met p99 van 7,53 ms. Plaatsing wordt nog niet beweerd; het wordt op drie manieren gemeten: alleen CPU geeft nullen terug en Apple's xctrace Neural Engine-instrument telt 303.
Kev-0.6B, a Jev-class decision model, running on the Apple Neural Engine. One forward pass, no token generation. 7.18 ms per decision, p99 7.53. Placement isn't asserted yet, it's measured three ways: CPU-only returns zeros, Apple's xctrace Neural Engine instrument counts 303
· 1 likesOpen on X
More like this
Prijs, evaluaties en de naam Jev
De launchthread legt code plus AI workflow evaluaties uit, de aangekondigde invoerprijs en gratis outputtokens.
Jev-model: waarschijnlijkheidsgeneratie voor besluitvorming, 200× sneller en 400× goedkoper dan LLM's
Dit model is gemaakt voor besluitvorming in plaats van tekstgeneratie en genereert waarschijnlijkheden voor elke optie parallel in plaats van token voor token antwoorden. De auteur deelt een vereenvoudigd voorbeeld van normale LLM's versus dit Jev-model.
