Jev 분류 모델로 유효한 다음 토큰을 선택해 C++ 작성
TypeSafe의 Jev 결정/분류 모델을 사용해 각 단계에서 문법적으로 유효한 다음 토큰만 제시하고 C++ 코드를 생성한 실험.
Mohebifar 팀이 12개 언어, 약 2000개의 타입 있는 코드 리뷰 및 검색 결정을 포함한 OneCodeReviewBench를 공개했습니다. 결과적으로 Jared Palmer의 27B 모델 Kev가 선택 및 점수 문제에서 Jev 등 호스팅된 결정 API를 능가했습니다.
We just put out OneCodeReviewBench: ~2000 typed code review + search decisions across 12 languages. Fun finding: @jaredpalmer 's 27B (Kev) beat Jev and other hosted decision APIs in choice and score questions! https://arxiv.org/abs/2610.33389