Jev로 코드베이스 분류기 구축
개발자가 Jev로 코드베이스 분류기를 구축하고 에이전트가 생성하는 과도하게 설계된 코드 문제를 해결할 수 있다고 언급하며 다음 테스트 대상을 묻습니다.
Braintrust, Jev의 판정 모델 성능 테스트
Braintrust가 Jev를 판정 모델로 테스트한 결과, groundedness 판정에서 빠르고 저렴하며 경쟁력 있지만 수학과 코드 영역에서는 추론 모델에 뒤처진다. 특정 평가 작업에 적합하며 LLM-as-a-judge를 완전히 대체하지는 않는다.
We tested where Jev holds up as a judge. Jev was fast, cheap, and highly competitive for judging groundedness. But it lagged behind models with reasoning for math and code domains. Use it for certain eval tasks, but don't throw out your LLM-as-a-judge just yet. Read more →
· 26 likesOpen on X
More like this
Jev, LLM-as-a-Judge를 20–200배 빠르고 40–400배 저렴하게 구현
Jev는 어떤 모델이 AGI인지 판단하는 데 사용되었으며, 20–200배 속도와 40–400배 저렴한 비용을 제공하여 LLM-as-a-judge를 매우 빠르고 거의 무료로 만듭니다.
TypeSafe Jev와 OpenCode로 앱 테스트
Filip이 TypeSafe Jev와 OpenCode를 사용한 앱 테스트 속도를 보여주는 작은 데모를 공유했습니다.
