Дані Jevals: незалежний бенчмарк для TypeSafe Jev
Незалежні бенчмарк-дані, що порівнюють Jev (модель System One) від TypeSafe AI з різними LLM за показниками рішення, точності, калібрування, вартості та затримки.
Механізм прийняття рішень на основі ModernBERT зі 151 млн параметрів, який перевершує TypeSafe Jev і Laya в бенчмарку LocalLLaMA/typed-decisions з точністю 77,10% і показником Браєра 0,0636, а також містить браузерне демо WebGPU.
该仓库构建并评测了一个基于 ModernBERT 的非自回归决策引擎,在 LocalLLaMA/typed-decisions 基准上与 TypeSafe Jev 1.13.0 对比,受 Jev 架构启发,并提供 WebGPU 可运行 demo,属于对 TypeSafe Jev 模型的深入研究。