Données Jevals : benchmark indépendant pour TypeSafe Jev
Données de référence indépendantes comparant Jev (modèle System One) de TypeSafe AI à plusieurs LLM sur le score de décision, la précision, la calibration, le coût et la latence.
Ce dépôt est une reproduction ouverte du modèle Jev de TypeSafe AI, fournissant un moteur de décision typé non autorégressif de 150M paramètres. Il atteint une précision de 0,697 sur le benchmark typed-decisions (Jev : 0,727), avec un meilleur calibrage, et peut être entraîné gratuitement sur Colab.
该仓库明确复现 TypeSafe AI 的 Jev 模型,包含完整代码、训练与评估流程,并在 typed-decisions 基准上与 Jev 对比,属于深入研究/复现项目。