Jevでコードベース分類器を構築
開発者がJevでコードベース分類器を構築し、エージェントが生成する過剰設計なコードの解決策になり得ると述べ、次のテスト対象を尋ねている。
Jev 1.13.0ベンチマーク：Winnow-12Bとほぼ同等
Benchmark Heavenの比較では、Jev 1.13.0はWinnow-12B Q8と公開精度とコストでほぼ同等で、キャリブレーションとスコアでリードしています。
Winnow-12B Q8 (#4) and Jev 1.13.0 (#1) are nearly level on public accuracy, 85.7% vs 86.6%, and on Cost, 52.9 vs 52.0. The gap is confidence. Calibration 64.8 vs 76.3; sealed set 33.1% vs 36.7%. Score 55.58 vs 63.29. https://benchmarkheaven.com/jev-models/v1.4.1?compare=jev-1.13.0,winnow-12b…
· 0 likesOpen on X
More like this
JevがLLM-as-a-Judgeを20～200倍高速・40～400倍低コストで実現
JevはどのモデルがAGIかを判断するために使われ、20～200倍の速度と40～400倍の低コストを実現し、LLM-as-a-judgeを極めて高速かつほぼ無料にします。
TypeSafe JevとOpenCodeでアプリをテスト
FilipがTypeSafe JevとOpenCodeを使ったアプリテストの速さを示す小さなデモを共有。
