Dados Jevals: benchmark independente para TypeSafe Jev
Dados de benchmark independentes comparando o Jev (modelo System One) da TypeSafe AI com vários LLMs em pontuação de decisão, precisão, calibração, custo e latência.
Este repositório é uma reprodução aberta do modelo Jev da TypeSafe AI, fornecendo um mecanismo de decisão tipado não autorregressivo de 150M parâmetros. Atinge 0,697 de precisão no benchmark typed-decisions (Jev: 0,727), com melhor calibração, e pode ser treinado gratuitamente no Colab.
该仓库明确复现 TypeSafe AI 的 Jev 模型,包含完整代码、训练与评估流程,并在 typed-decisions 基准上与 Jev 对比,属于深入研究/复现项目。