Данные Jevals: независимый бенчмарк для TypeSafe Jev
Независимые бенчмарк-данные, сравнивающие Jev (модель System One) от TypeSafe AI с несколькими LLM по показателям решения, точности, калибровке, стоимости и задержке.
Этот репозиторий — открытая репродукция модели Jev от TypeSafe AI, предоставляющая неавторегрессионный типизированный механизм принятия решений с 150M параметров. Он достигает точности 0,697 на бенчмарке typed-decisions (Jev: 0,727), с лучшей калибровкой, и может быть обучен бесплатно на Colab.
该仓库明确复现 TypeSafe AI 的 Jev 模型,包含完整代码、训练与评估流程,并在 typed-decisions 基准上与 Jev 对比,属于深入研究/复现项目。