Jevals データ: TypeSafe Jev の独立ベンチマーク
TypeSafe AI の Jev(System One モデル)と複数の LLM を、判定タスクにおける決定スコア、精度、キャリブレーション、コスト、遅延で比較する独立したベンチマークデータ。
100CC-BY-4.0
AnyJev は、任意のオープン LLM を Jev スタイルの意思決定モデルに変換する研究ライブラリです。型付き出力、キャリブレーションされた確率、学習不要の L0/L1 キャリブレーションを備え、Jev とのベンチマーク比較も行います。
该仓库是一个实质性的研究项目,实现并评测了Jev风格的决策模型(AnyJev),将任意LLM转换为带类型化决策和可靠概率的模型,并与TypeSafe AI的Jev结果进行对比,属于深入研究Jev/System One思路的技术资源。