Jev face aux modèles générateurs de texte
Jev ne génère pas de texte libre. Une vidéo côte à côte compare la décision parallèle avec la génération token par token.
Jev et modèles de décision locaux : prioriser la latence
L'auteur estime que faire tourner les modèles de décision en local est la meilleure approche, qu'ils peuvent être assez petits pour la plupart des matériels et qu'il faut optimiser la latence pour maximiser les décisions par seconde.
Jev opened the box, but I believe that having your decisioning model run locally is the winning recipe. Decisioning models can certainly be made small enough for most hardware and you really want to maximize for latency with these models, as a higher decisions-per-second may be
· 1 likesOpen on X
More like this
Prix, évaluations et origine du nom Jev
Le fil de lancement explique les évaluations de workflows code + AI, le prix d’entrée annoncé et les tokens de sortie gratuits.
Modèle Jev : génération de probabilités pour la décision, 200× plus rapide et 400× moins cher que les LLM
Ce modèle est conçu pour la prise de décision plutôt que la génération de texte, produisant des probabilités pour chaque option en parallèle au lieu de réponses token par token. L'auteur présente un exemple simplifié comparant les LLM classiques à ce modèle Jev.
