Jev face aux modèles générateurs de texte
Jev ne génère pas de texte libre. Une vidéo côte à côte compare la décision parallèle avec la génération token par token.
Moteur LLM local façon Jev : inférence en 40 ms dédiée au jugement
Taro L. Saito note que, comme Jev, un moteur LLM local atteint une inférence de 40 ms en abandonnant la génération de texte/JSON au profit du jugement, sur DGX Spark.
Just like Jev, to think that a Local LLM engine capable of inference in 40ms is realized simply by abandoning text/json generation and specializing solely in judgment. It's running on DGX Spark, but anyway, it's incredibly fast.
· 1,3 k likesOpen on X
More like this
Prix, évaluations et origine du nom Jev
Le fil de lancement explique les évaluations de workflows code + AI, le prix d’entrée annoncé et les tokens de sortie gratuits.
Modèle Jev : génération de probabilités pour la décision, 200× plus rapide et 400× moins cher que les LLM
Ce modèle est conçu pour la prise de décision plutôt que la génération de texte, produisant des probabilités pour chaque option en parallèle au lieu de réponses token par token. L'auteur présente un exemple simplifié comparant les LLM classiques à ce modèle Jev.
