Jevals データ: TypeSafe Jev の独立ベンチマーク
TypeSafe AI の Jev(System One モデル)と複数の LLM を、判定タスクにおける決定スコア、精度、キャリブレーション、コスト、遅延で比較する独立したベンチマークデータ。
100CC-BY-4.0
ModernBERT ベースの 151M パラメータの意思決定エンジンで、LocalLLaMA/typed-decisions ベンチマークで 77.10% の精度と 0.0636 の Brier スコアを達成し、TypeSafe Jev と Laya を上回り、WebGPU ブラウザデモも提供します。
该仓库构建并评测了一个基于 ModernBERT 的非自回归决策引擎,在 LocalLLaMA/typed-decisions 基准上与 TypeSafe Jev 1.13.0 对比,受 Jev 架构启发,并提供 WebGPU 可运行 demo,属于对 TypeSafe Jev 模型的深入研究。