Back to explore

OneCodeReviewBench:コードレビュー判断でのJevとホステッドAPI比較

Mohebifar氏のチームがOneCodeReviewBenchを公開。12言語・約2000件の型付きコードレビューと検索判断が含まれます。Jared Palmer氏の27BモデルKevが、選択問題とスコア問題でJevなどのホステッド意思決定APIを上回ったとの結果です。

We just put out OneCodeReviewBench: ~2000 typed code review + search decisions across 12 languages. Fun finding: @jaredpalmer 's 27B (Kev) beat Jev and other hosted decision APIs in choice and score questions! https://arxiv.org/abs/2610.33389

OneCodeReviewBench:コードレビュー判断でのJevとホステッドAPI比較 1
· 3 likesOpen on X