Jevals 데이터: TypeSafe Jev 독립 벤치마크
TypeSafe AI의 Jev(System One 모델)와 여러 LLM을 결정 점수, 정확도, 보정, 비용, 지연 시간 측면에서 비교하는 독립적인 벤치마크 데이터입니다.
100CC-BY-4.0
ModernBERT 기반의 1억 5100만 파라미터 결정 엔진으로, LocalLLaMA/typed-decisions 벤치마크에서 77.10% 정확도와 0.0636 Brier 점수로 TypeSafe Jev 및 Laya를 능가하며 WebGPU 브라우저 데모를 제공합니다.
该仓库构建并评测了一个基于 ModernBERT 的非自回归决策引擎,在 LocalLLaMA/typed-decisions 基准上与 TypeSafe Jev 1.13.0 对比,受 Jev 架构启发,并提供 WebGPU 可运行 demo,属于对 TypeSafe Jev 模型的深入研究。