Jevals データ: TypeSafe Jev の独立ベンチマーク
TypeSafe AI の Jev(System One モデル)と複数の LLM を、判定タスクにおける決定スコア、精度、キャリブレーション、コスト、遅延で比較する独立したベンチマークデータ。
100CC-BY-4.0
このリポジトリは、TypeSafe AI の Jev モデルのオープンな再現です。150Mパラメータの非自己回帰型決定エンジンを提供し、typed-decisions ベンチマークで精度0.697(Jevは0.727)、較正が優れており、Colabで無料で学習できます。
该仓库明确复现 TypeSafe AI 的 Jev 模型,包含完整代码、训练与评估流程,并在 typed-decisions 基准上与 Jev 对比,属于深入研究/复现项目。