Jevals Data: oberoende riktmärke för TypeSafe Jev
Oberoende benchmarkdata som jämför TypeSafe AI:s Jev (System One-modellen) med flera LLM:er i beslutspoäng, noggrannhet, kalibrering, kostnad och latens.
Detta repo är en öppen reproduktion av TypeSafe AI:s Jev-modell, som tillhandahåller en icke-autoregressiv typad beslutsmotor med 150M parametrar. Den når en noggrannhet på 0,697 på typed-decisions-benchmarken (Jev: 0,727), med bättre kalibrering, och kan tränas gratis på Colab.
该仓库明确复现 TypeSafe AI 的 Jev 模型,包含完整代码、训练与评估流程,并在 typed-decisions 基准上与 Jev 对比,属于深入研究/复现项目。