Дані Jevals: незалежний бенчмарк для TypeSafe Jev
Незалежні бенчмарк-дані, що порівнюють Jev (модель System One) від TypeSafe AI з різними LLM за показниками рішення, точності, калібрування, вартості та затримки.
Цей репозиторій — відкрита репродукція моделі Jev від TypeSafe AI, що надає неавторегресивний типізований механізм прийняття рішень із 150M параметрів. Досягає точності 0,697 на бенчмарку typed-decisions (Jev: 0,727), з кращою калібровкою, і його можна безкоштовно навчати на Colab.
该仓库明确复现 TypeSafe AI 的 Jev 模型,包含完整代码、训练与评估流程,并在 typed-decisions 基准上与 Jev 对比,属于深入研究/复现项目。