Bygga en kodbas-klassificerare med Jev
En utvecklare delar bygget av en kodbas-klassificerare med Jev, föreslår att det kan lösa överkonstruerad kod från agenter, och frågar vad som ska testas härnäst.
Jev 1.13.0 Benchmark: Nära Winnow-12B
Benchmark Heavens jämförelse visar att Jev 1.13.0 nästan ligger på samma nivå som Winnow-12B Q8 vad gäller publik noggrannhet och kostnad, med Jev ledande inom kalibrering och poäng.
Winnow-12B Q8 (#4) and Jev 1.13.0 (#1) are nearly level on public accuracy, 85.7% vs 86.6%, and on Cost, 52.9 vs 52.0. The gap is confidence. Calibration 64.8 vs 76.3; sealed set 33.1% vs 36.7%. Score 55.58 vs 63.29. https://benchmarkheaven.com/jev-models/v1.4.1?compare=jev-1.13.0,winnow-12b…
· 0 likesOpen on X
More like this
Jev möjliggör LLM-as-a-Judge 20–200x snabbare och 40–400x billigare
Jev användes för att välja vilken modell som är AGI, med 20–200x hastighet och 40–400x lägre kostnad, vilket gör LLM-as-a-Judge extremt snabbt och nästan gratis.
Testa appar med TypeSafe Jev & OpenCode
Filip delar en liten demo som visar hur snabbt det går att testa appar med TypeSafe Jev och OpenCode.
