Jevでコードベース分類器を構築
開発者がJevでコードベース分類器を構築し、エージェントが生成する過剰設計なコードの解決策になり得ると述べ、次のテスト対象を尋ねている。
Jev を使った LLM 評価
Hamel Husain は、LLM Judge は本質的に分類器であるため Jev を LLM 評価に使えると述べ、人間のラベルで分類器をテストし過学習を避けるよう助言している。
Can you use Jev for Evals? Yes! Remember that a LLM Judge is also classifier*. Make sure to test your classifiers against human labels and don't overfit. Hope this helps! * https://hamel.dev/blog/posts/evals-faq/why-do-you-recommend-binary-passfail-evaluations-instead-of-1-5-ratings-likert-scales.html…
· 130 likesOpen on X
More like this
JevがLLM-as-a-Judgeを20～200倍高速・40～400倍低コストで実現
JevはどのモデルがAGIかを判断するために使われ、20～200倍の速度と40～400倍の低コストを実現し、LLM-as-a-judgeを極めて高速かつほぼ無料にします。
TypeSafe JevとOpenCodeでアプリをテスト
FilipがTypeSafe JevとOpenCodeを使ったアプリテストの速さを示す小さなデモを共有。
