Jev rispetto ai modelli che generano testo
Jev non genera testo libero. Un video affiancato confronta decisioni parallele e generazione token per token.
Jev e modelli decisionali locali: dare priorità alla latenza
L'autore sostiene che eseguire i modelli decisionali in locale sia la ricetta vincente, che possono essere abbastanza piccoli per la maggior parte dell'hardware e che la latenza vada ottimizzata per massimizzare le decisioni al secondo.
Jev opened the box, but I believe that having your decisioning model run locally is the winning recipe. Decisioning models can certainly be made small enough for most hardware and you really want to maximize for latency with these models, as a higher decisions-per-second may be
· 1 likesOpen on X
More like this
Prezzi, valutazioni e origine del nome Jev
Il thread di lancio spiega le valutazioni dei workflow code + AI, il prezzo di input annunciato e i token di output gratuiti.
Modello Jev: generazione di probabilità per le decisioni, 200× più veloce e 400× più economico degli LLM
Questo modello è progettato per il processo decisionale anziché la generazione di testo, generando probabilità per ogni opzione in parallelo invece di risposte token per token. L'autore condivide un esempio semplificato di confronto tra LLM normali e questo modello Jev.
