Een codebase-classificator bouwen met Jev
Een ontwikkelaar deelt het bouwen van een codebase-classificator met Jev, suggereert dat dit overgeëngineerde code van agents kan oplossen, en vraagt wat er nu getest moet worden.
De vergelijking van Benchmark Heaven toont aan dat Jev 1.13.0 bijna gelijk is aan Winnow-12B Q8 op het gebied van openbare nauwkeurigheid en kosten, met Jev voorop in kalibratie en score.
Winnow-12B Q8 (#4) and Jev 1.13.0 (#1) are nearly level on public accuracy, 85.7% vs 86.6%, and on Cost, 52.9 vs 52.0. The gap is confidence. Calibration 64.8 vs 76.3; sealed set 33.1% vs 36.7%. Score 55.58 vs 63.29. https://benchmarkheaven.com/jev-models/v1.4.1?compare=jev-1.13.0,winnow-12b…