Dados Jevals: benchmark independente para TypeSafe Jev
Dados de benchmark independentes comparando o Jev (modelo System One) da TypeSafe AI com vários LLMs em pontuação de decisão, precisão, calibração, custo e latência.
Um motor de decisão de 151 milhões de parâmetros baseado em ModernBERT que supera o TypeSafe Jev e o Laya no benchmark LocalLLaMA/typed-decisions com 77,10% de precisão e pontuação de Brier 0,0636, e inclui uma demonstração no navegador via WebGPU.
该仓库构建并评测了一个基于 ModernBERT 的非自回归决策引擎,在 LocalLLaMA/typed-decisions 基准上与 TypeSafe Jev 1.13.0 对比,受 Jev 架构启发,并提供 WebGPU 可运行 demo,属于对 TypeSafe Jev 模型的深入研究。