Dane Jevals: niezależny benchmark dla TypeSafe Jev
Niezależne dane benchmarkowe porównujące Jev (model System One) od TypeSafe AI z różnymi LLM pod względem wyniku decyzji, dokładności, kalibracji, kosztu i opóźnienia.
To repozytorium to otwarta reprodukcja modelu Jev firmy TypeSafe AI, dostarczająca nieautoregresyjny typowany silnik decyzyjny o 150M parametrach. Osiąga dokładność 0,697 na benchmarku typed-decisions (Jev: 0,727), z lepszą kalibracją i można go trenować za darmo na Colab.
该仓库明确复现 TypeSafe AI 的 Jev 模型,包含完整代码、训练与评估流程,并在 typed-decisions 基准上与 Jev 对比,属于深入研究/复现项目。