Jev로 코드베이스 분류기 구축
개발자가 Jev로 코드베이스 분류기를 구축하고 에이전트가 생성하는 과도하게 설계된 코드 문제를 해결할 수 있다고 언급하며 다음 테스트 대상을 묻습니다.
저자는 Mac에서 8개의 로컬 모델을 동일한 JevBench 질문으로 실행했습니다. 4B 모델은 짧은 텍스트에서 Jev와 일치했지만, 복잡한 텍스트에서는 모두 17포인트 이상 뒤쳐졌습니다.
New article: how accurate are local models vs Jev, a cloud System One classifier? I ran 8 on a Mac, same JevBench questions. A 4B model matched Jev on short texts. On complex ones, all were 17+ points behind. https://rockyshikoku.medium.com/jev-style-text-classification-system-one-run-locally-how-accurate-can-it-get-57f30ed3594a… Video: minicpm5-2b classifying messages.