Jev 분류 모델로 유효한 다음 토큰을 선택해 C++ 작성
TypeSafe의 Jev 결정/분류 모델을 사용해 각 단계에서 문법적으로 유효한 다음 토큰만 제시하고 C++ 코드를 생성한 실험.
이 게시물은 pytest로 평가된 18개 작업 × 3회 시도에서 자체 라우터가 OpenRouter의 Jev Router 및 Auto router보다 높은 일관성(94.4% vs 72.2% vs 16.7%), 더 낮은 비용, 더 낮은 지연 시간을 달성했다고 주장합니다.
We just beat OpenRouter’s Jev Router and their Auto router on real OSS bug fixes. 18 tasks × 3 attempts, pytest graded: → Consistency: 94.4% vs 72.2% vs 16.7% → Cost/task: $0.000042 vs $0.000135 vs $0.007615 → Latency: faster than both Zero-markup BYOK + smarter routing +