Jev tegenover tekstgenererende modellen
Jev genereert geen vrije tekst. Een video vergelijkt parallel beslissen met token voor token tekstgeneratie.
Jev en lokale beslissingsmodellen: latentie prioriteren
De auteur stelt dat beslissingsmodellen lokaal draaien de beste aanpak is, dat ze klein genoeg kunnen zijn voor de meeste hardware en dat latentie geoptimaliseerd moet worden om beslissingen per seconde te maximaliseren.
Jev opened the box, but I believe that having your decisioning model run locally is the winning recipe. Decisioning models can certainly be made small enough for most hardware and you really want to maximize for latency with these models, as a higher decisions-per-second may be
· 1 likesOpen on X
More like this
Prijs, evaluaties en de naam Jev
De launchthread legt code plus AI workflow evaluaties uit, de aangekondigde invoerprijs en gratis outputtokens.
Jev-model: waarschijnlijkheidsgeneratie voor besluitvorming, 200× sneller en 400× goedkoper dan LLM's
Dit model is gemaakt voor besluitvorming in plaats van tekstgeneratie en genereert waarschijnlijkheden voor elke optie parallel in plaats van token voor token antwoorden. De auteur deelt een vereenvoudigd voorbeeld van normale LLM's versus dit Jev-model.
