Jev rispetto ai modelli che generano testo
Jev non genera testo libero. Un video affiancato confronta decisioni parallele e generazione token per token.
Motore LLM locale in stile Jev: inferenza in 40 ms solo per il giudizio
Taro L. Saito osserva che, come Jev, un motore LLM locale raggiunge un'inferenza di 40 ms abbandonando la generazione di testo/JSON e specializzandosi nel giudizio, su DGX Spark.
Just like Jev, to think that a Local LLM engine capable of inference in 40ms is realized simply by abandoning text/json generation and specializing solely in judgment. It's running on DGX Spark, but anyway, it's incredibly fast.
· 1,3K likesOpen on X
More like this
Prezzi, valutazioni e origine del nome Jev
Il thread di lancio spiega le valutazioni dei workflow code + AI, il prezzo di input annunciato e i token di output gratuiti.
Modello Jev: generazione di probabilità per le decisioni, 200× più veloce e 400× più economico degli LLM
Questo modello è progettato per il processo decisionale anziché la generazione di testo, generando probabilità per ogni opzione in parallelo invece di risposte token per token. L'autore condivide un esempio semplificato di confronto tra LLM normali e questo modello Jev.
