Jevでコードベース分類器を構築
開発者がJevでコードベース分類器を構築し、エージェントが生成する過剰設計なコードの解決策になり得ると述べ、次のテスト対象を尋ねている。
JevモデルがBANKING77ベンチマークで好成績
同じ固定JevバージョンでBANKING77公式3,080テストケースを評価。例なしで80.75%、全2,446ラベル付き例をコンテキストに含めると91.36%の精度を達成。327件多く正解し、重み更新なし、入力トークンコストは10.92ドル。
BANKING77, same pinned Jev version, same 3,080 official test cases: 80.75% with no examples, 91.36% with all 2,446 labeled examples in context. 327 more correct, no weight updates, $10.92 of input tokens.
· 0 likesOpen on X
More like this
JevがLLM-as-a-Judgeを20～200倍高速・40～400倍低コストで実現
JevはどのモデルがAGIかを判断するために使われ、20～200倍の速度と40～400倍の低コストを実現し、LLM-as-a-judgeを極めて高速かつほぼ無料にします。
TypeSafe JevとOpenCodeでアプリをテスト
FilipがTypeSafe JevとOpenCodeを使ったアプリテストの速さを示す小さなデモを共有。
