Données Jevals : benchmark indépendant pour TypeSafe Jev
Données de référence indépendantes comparant Jev (modèle System One) de TypeSafe AI à plusieurs LLM sur le score de décision, la précision, la calibration, le coût et la latence.
Un moteur de décision de 151M paramètres basé sur ModernBERT qui surpasse TypeSafe Jev et Laya sur le benchmark LocalLLaMA/typed-decisions avec une précision de 77,10 % et un score de Brier de 0,0636, et comprend une démo WebGPU dans le navigateur.
该仓库构建并评测了一个基于 ModernBERT 的非自回归决策引擎,在 LocalLLaMA/typed-decisions 基准上与 TypeSafe Jev 1.13.0 对比,受 Jev 架构启发,并提供 WebGPU 可运行 demo,属于对 TypeSafe Jev 模型的深入研究。