Jevals データ: TypeSafe Jev の独立ベンチマーク
TypeSafe AI の Jev(System One モデル)と複数の LLM を、判定タスクにおける決定スコア、精度、キャリブレーション、コスト、遅延で比較する独立したベンチマークデータ。
100CC-BY-4.0
TypeSafeのJevとSystem Oneに着想を得たオープンソースの実装・研究プロジェクト。DGX Spark上でspark-s1モデルを学習・提供し、JevBench評価、ツール呼び出し安全性、意思決定データ生成機能を含みます。
该仓库是一个深入研究 TypeSafe Jev / System One 的开源实现项目,包含模型训练、JevBench 评测、与 Jev 的对比实验、工具调用安全评估及决策数据工厂,实质内容充分。