Jev로 코드베이스 분류기 구축
개발자가 Jev로 코드베이스 분류기를 구축하고 에이전트가 생성하는 과도하게 설계된 코드 문제를 해결할 수 있다고 언급하며 다음 테스트 대상을 묻습니다.
Jev 1.13.0 벤치마크: Winnow-12B와 거의 동등
Benchmark Heaven 비교에서 Jev 1.13.0은 공개 정확도와 비용에서 Winnow-12B Q8과 거의 동등하며, 보정 및 점수에서 앞섰습니다.
Winnow-12B Q8 (#4) and Jev 1.13.0 (#1) are nearly level on public accuracy, 85.7% vs 86.6%, and on Cost, 52.9 vs 52.0. The gap is confidence. Calibration 64.8 vs 76.3; sealed set 33.1% vs 36.7%. Score 55.58 vs 63.29. https://benchmarkheaven.com/jev-models/v1.4.1?compare=jev-1.13.0,winnow-12b…
· 0 likesOpen on X
More like this
Jev, LLM-as-a-Judge를 20–200배 빠르고 40–400배 저렴하게 구현
Jev는 어떤 모델이 AGI인지 판단하는 데 사용되었으며, 20–200배 속도와 40–400배 저렴한 비용을 제공하여 LLM-as-a-judge를 매우 빠르고 거의 무료로 만듭니다.
TypeSafe Jev와 OpenCode로 앱 테스트
Filip이 TypeSafe Jev와 OpenCode를 사용한 앱 테스트 속도를 보여주는 작은 데모를 공유했습니다.
