Principaux résultats de Realtime-Bench : le meilleur modèle GPT-6-Astra obtient 36 % ; Jev répond en moins d'une seconde, étant le modèle le plus rapide mais avec seulement 8 %. Le raisonnement n'aide que lorsque l'horloge est arrêtée ; avec un vrai chronomètre, penser lentement fait perdre. Même avec le temps figé, de nombreuses tâches restent non résolues.
alphaXiv indique avoir entraîné un modèle 4B sur 117 000 exemples de prise de décision ; ses performances sont presque identiques à celles de Jev, sauf en détection de sarcasme, avec une généralisation à des tâches inédites comme la gravité des discours haineux.
Wasim Jalali partage les résultats du jour 9 de Decision Bench : Clef Omni se classe dernier sur 8 avec 87,2 % de précision, comparé à Jev 1.13 sur les questions cachées et le traitement du bruit. Il est prudent et laisse la plupart du bruit.
Des tests indépendants montrent que Jev fait jeu égal avec les LLM sur la classification de sécurité et le routage d'outils, mais est en retrait sur les tâches ouvertes.
Carlos Muñoz Ferrandis rapporte qu'en une semaine, avec deux A100 et uniquement des jeux de données ouverts et des réponses synthétiques, son modèle bat Jev sur 6 des 8 benchmarks publics de garde, obtient une AUROC moyenne de 0,936 contre 0,934 pour Jev, et une latence de 90 ms par requête sur une seule A100.
Ce post cite un article de recherche de Tencent évaluant le jugement de Jev face à des changements d'ordre des options, montrant que Jev se trompe souvent même sur des problèmes solubles, ce qui correspond à l'expérience de l'auteur.
Un utilisateur propose d'utiliser Jev sur un dossier de documents scannés contenant des équations afin de signaler les pages nécessitant un second examen. Link
Ben Kolligs a utilisé Jev de @typesafe pour classer les titres et résumés d'articles sur la modélisation robotique, constatant que la part des modèles VLA est passée d'environ 10 % en 2023 à 38 % en janv.-sept. 2026, et celle des modèles du monde de 9 % à 18 %.
Dans le podcast Latent Space, swyx discute de Jev et des modèles de décision, abordant un sujet rare sur le calibrage des LLM, soulignant un élément que les gens pourraient ne pas connaître ou comprendre.
L'auteur compare les nouveaux modèles de décision basés sur #Jev avec de petits modèles locaux, indiquant que les API sont avantageuses avec peu d'exemples et que les résultats changent avec davantage de données. Link
Le post rapporte le jour 5 de Decision Bench : Microsoft-Decision-1 mène avec 96,4 % de précision, Jev 1.13 suit à une vérification près, en mentionnant les questions cachées et le coût des commentaires bruités.
Le poste partage une étude sur le comportement des modèles dans les tâches à réponses multiples : les modèles peuvent classer les bonnes options avant les distracteurs tout en attribuant encore de faibles probabilités à certaines bonnes réponses. L'article évalue Jev et d'autres modèles sur MetaTool, HotpotQA et ECtHR. Link