Datos de Jevals: benchmark independiente para TypeSafe Jev
Datos de referencia independientes que comparan Jev (modelo System One) de TypeSafe AI con varios LLM en puntuación de decisión, precisión, calibración, costo y latencia.
Un motor de decisión de 151M parámetros basado en ModernBERT que supera a TypeSafe Jev y Laya en el punto de referencia LocalLLaMA/typed-decisions con una precisión del 77,10% y una puntuación de Brier de 0,0636, e incluye una demo en navegador WebGPU.
该仓库构建并评测了一个基于 ModernBERT 的非自回归决策引擎,在 LocalLLaMA/typed-decisions 基准上与 TypeSafe Jev 1.13.0 对比,受 Jev 架构启发,并提供 WebGPU 可运行 demo,属于对 TypeSafe Jev 模型的深入研究。