Créer un classificateur de base de code avec Jev
Un développeur partage la création d'un classificateur de base de code avec Jev, suggérant qu'il peut résoudre le code surconçu des agents, et demande quoi tester ensuite.
Jev 1.13.0 Benchmark : proche de Winnow-12B
La comparaison de Benchmark Heaven montre que Jev 1.13.0 est presque au niveau de Winnow-12B Q8 en précision publique et en coût, Jev étant en tête en matière de calibrage et de score.
Winnow-12B Q8 (#4) and Jev 1.13.0 (#1) are nearly level on public accuracy, 85.7% vs 86.6%, and on Cost, 52.9 vs 52.0. The gap is confidence. Calibration 64.8 vs 76.3; sealed set 33.1% vs 36.7%. Score 55.58 vs 63.29. https://benchmarkheaven.com/jev-models/v1.4.1?compare=jev-1.13.0,winnow-12b…
· 0 likesOpen on X
More like this
Jev permet le LLM-as-a-Judge à 20–200x plus rapide et 40–400x moins cher
Jev a été utilisé pour déterminer quel modèle est AGI, offrant 20–200x plus de vitesse et 40–400x moins de coût, rendant LLM-as-a-judge extrêmement rapide et presque gratuit.
Tester des applications avec TypeSafe Jev et OpenCode
Filip partage une petite démo montrant la rapidité des tests d'applications avec TypeSafe Jev et OpenCode.
