Jev face aux modèles générateurs de texte
Jev ne génère pas de texte libre. Une vidéo côte à côte compare la décision parallèle avec la génération token par token.
Pourquoi Jev est plus rapide qu'un LLM : analyse de la technique d'inférence
Le post affirme que l'avantage de vitesse de Jev vient de la technique d'inférence, et non de l'entraînement du modèle, et qu'on peut modifier un moteur d'inférence pour offrir une API de type Jev performante à tout LLM à poids ouverts.
How is Jev so much faster than an LLM? It's not about how the model is trained - it's the inference technique. In fact, you can modify an inference engine to provide a performant Jev-like API with any open-weight LLM. Say you are trying to ask N multiple choice questions in
· 564 likesOpen on X
More like this
Prix, évaluations et origine du nom Jev
Le fil de lancement explique les évaluations de workflows code + AI, le prix d’entrée annoncé et les tokens de sortie gratuits.
Modèle Jev : génération de probabilités pour la décision, 200× plus rapide et 400× moins cher que les LLM
Ce modèle est conçu pour la prise de décision plutôt que la génération de texte, produisant des probabilités pour chaque option en parallèle au lieu de réponses token par token. L'auteur présente un exemple simplifié comparant les LLM classiques à ce modèle Jev.
