Jev rispetto ai modelli che generano testo
Jev non genera testo libero. Un video affiancato confronta decisioni parallele e generazione token per token.
Perché Jev è più veloce di un LLM: analisi della tecnica di inferenza
Il post sostiene che il vantaggio di velocità di Jev deriva dalla tecnica di inferenza, non dall'addestramento del modello, e che si può modificare un motore di inferenza per offrire a qualsiasi LLM a pesi aperti un'API simile a Jev ad alte prestazioni.
How is Jev so much faster than an LLM? It's not about how the model is trained - it's the inference technique. In fact, you can modify an inference engine to provide a performant Jev-like API with any open-weight LLM. Say you are trying to ask N multiple choice questions in
· 564 likesOpen on X
More like this
Prezzi, valutazioni e origine del nome Jev
Il thread di lancio spiega le valutazioni dei workflow code + AI, il prezzo di input annunciato e i token di output gratuiti.
Modello Jev: generazione di probabilità per le decisioni, 200× più veloce e 400× più economico degli LLM
Questo modello è progettato per il processo decisionale anziché la generazione di testo, generando probabilità per ogni opzione in parallelo invece di risposte token per token. L'autore condivide un esempio semplificato di confronto tra LLM normali e questo modello Jev.
