Створення класифікатора кодової бази з Jev
Розробник ділиться створенням класифікатора кодової бази з Jev, припускаючи, що це може вирішити проблему переускладненого коду від агентів, і запитує, що тестувати далі.
Jev 1.13.0: майже на рівні Winnow-12B
Порівняння Benchmark Heaven показує, що Jev 1.13.0 майже на рівні Winnow-12B Q8 за публічною точністю та вартістю, при цьому Jev лідирує за калібруванням та балом.
Winnow-12B Q8 (#4) and Jev 1.13.0 (#1) are nearly level on public accuracy, 85.7% vs 86.6%, and on Cost, 52.9 vs 52.0. The gap is confidence. Calibration 64.8 vs 76.3; sealed set 33.1% vs 36.7%. Score 55.58 vs 63.29. https://benchmarkheaven.com/jev-models/v1.4.1?compare=jev-1.13.0,winnow-12b…
· 0 likesOpen on X
More like this
Jev забезпечує LLM-as-a-Judge у 20–200 разів швидше та у 40–400 разів дешевше
Jev використано для вибору моделі AGI, забезпечуючи у 20–200 разів більшу швидкість і у 40–400 разів меншу вартість, роблячи LLM-as-a-judge надзвичайно швидким і майже безкоштовним.
Тестування застосунків із TypeSafe Jev та OpenCode
Filip ділиться невеликим демо, що показує швидкість тестування застосунків із TypeSafe Jev та OpenCode.
