Jev로 코드베이스 분류기 구축
개발자가 Jev로 코드베이스 분류기를 구축하고 에이전트가 생성하는 과도하게 설계된 코드 문제를 해결할 수 있다고 언급하며 다음 테스트 대상을 묻습니다.
Jev 모델이 BANKING77 벤치마크에서 우수한 성능
동일한 고정 Jev 버전으로 BANKING77 공식 3,080개 테스트를 평가했습니다. 예시 없이 80.75%, 모든 2,446개 레이블 예시를 포함하면 91.36%의 정확도를 기록했으며, 327개 더 정답을 맞추고 가중치 업데이트 없이 입력 토큰 비용은 $10.92에 불과합니다.
BANKING77, same pinned Jev version, same 3,080 official test cases: 80.75% with no examples, 91.36% with all 2,446 labeled examples in context. 327 more correct, no weight updates, $10.92 of input tokens.
· 0 likesOpen on X
More like this
Jev, LLM-as-a-Judge를 20–200배 빠르고 40–400배 저렴하게 구현
Jev는 어떤 모델이 AGI인지 판단하는 데 사용되었으며, 20–200배 속도와 40–400배 저렴한 비용을 제공하여 LLM-as-a-judge를 매우 빠르고 거의 무료로 만듭니다.
TypeSafe Jev와 OpenCode로 앱 테스트
Filip이 TypeSafe Jev와 OpenCode를 사용한 앱 테스트 속도를 보여주는 작은 데모를 공유했습니다.
