Jev tegenover tekstgenererende modellen
Jev genereert geen vrije tekst. Een video vergelijkt parallel beslissen met token voor token tekstgeneratie.
Lokale LLM-engine in Jev-stijl: oordeel-inferentie in 40 ms
Taro L. Saito merkt op dat, net als Jev, een lokale LLM-engine 40 ms inferentie bereikt door tekst-/JSON-generatie op te geven en zich op oordelen te richten, op DGX Spark.
Just like Jev, to think that a Local LLM engine capable of inference in 40ms is realized simply by abandoning text/json generation and specializing solely in judgment. It's running on DGX Spark, but anyway, it's incredibly fast.
· 1,3K likesOpen on X
More like this
Prijs, evaluaties en de naam Jev
De launchthread legt code plus AI workflow evaluaties uit, de aangekondigde invoerprijs en gratis outputtokens.
Jev-model: waarschijnlijkheidsgeneratie voor besluitvorming, 200× sneller en 400× goedkoper dan LLM's
Dit model is gemaakt voor besluitvorming in plaats van tekstgeneratie en genereert waarschijnlijkheden voor elke optie parallel in plaats van token voor token antwoorden. De auteur deelt een vereenvoudigd voorbeeld van normale LLM's versus dit Jev-model.
