Datos de Jevals: benchmark independiente para TypeSafe Jev
Datos de referencia independientes que comparan Jev (modelo System One) de TypeSafe AI con varios LLM en puntuación de decisión, precisión, calibración, costo y latencia.
Este repositorio es una reproducción abierta del modelo Jev de TypeSafe AI, que ofrece un motor de decisiones tipadas no autorregresivo de 150M de parámetros. Alcanza una precisión de 0,697 en el benchmark typed-decisions (Jev: 0,727), con mejor calibración, y se puede entrenar gratis en Colab.
该仓库明确复现 TypeSafe AI 的 Jev 模型,包含完整代码、训练与评估流程,并在 typed-decisions 基准上与 Jev 对比,属于深入研究/复现项目。