Создание классификатора кодовой базы с помощью Jev
Разработчик делится созданием классификатора кодовой базы с помощью Jev, предполагая, что это может решить проблему переусложнённого кода от агентов, и спрашивает, что тестировать дальше.
Jev 1.13.0: близок к Winnow-12B по результатам теста
Сравнение Benchmark Heaven показывает, что Jev 1.13.0 почти равен Winnow-12B Q8 по публичной точности и стоимости, при этом Jev лидирует по калибровке и баллу.
Winnow-12B Q8 (#4) and Jev 1.13.0 (#1) are nearly level on public accuracy, 85.7% vs 86.6%, and on Cost, 52.9 vs 52.0. The gap is confidence. Calibration 64.8 vs 76.3; sealed set 33.1% vs 36.7%. Score 55.58 vs 63.29. https://benchmarkheaven.com/jev-models/v1.4.1?compare=jev-1.13.0,winnow-12b…
· 0 likesOpen on X
More like this
Jev обеспечивает LLM-as-a-Judge в 20–200 раз быстрее и в 40–400 раз дешевле
Jev использовался для выбора модели AGI, обеспечивая в 20–200 раз большую скорость и в 40–400 раз меньшую стоимость, делая LLM-as-a-judge чрезвычайно быстрым и почти бесплатным.
Тестирование приложений с TypeSafe Jev и OpenCode
Filip делится небольшим демо, показывающим скорость тестирования приложений с TypeSafe Jev и OpenCode.
