Data Jevals: tolok ukur independen untuk TypeSafe Jev
Data benchmark independen yang membandingkan Jev (model System One) dari TypeSafe AI dengan berbagai LLM dalam skor keputusan, akurasi, kalibrasi, biaya, dan latensi.
Mesin keputusan 151M parameter berbasis ModernBERT yang mengungguli TypeSafe Jev dan Laya pada benchmark LocalLLaMA/typed-decisions dengan akurasi 77,10% dan skor Brier 0,0636, serta menyertakan demo browser WebGPU.
该仓库构建并评测了一个基于 ModernBERT 的非自回归决策引擎,在 LocalLLaMA/typed-decisions 基准上与 TypeSafe Jev 1.13.0 对比,受 Jev 架构启发,并提供 WebGPU 可运行 demo,属于对 TypeSafe Jev 模型的深入研究。