Jevals 데이터: TypeSafe Jev 독립 벤치마크
TypeSafe AI의 Jev(System One 모델)와 여러 LLM을 결정 점수, 정확도, 보정, 비용, 지연 시간 측면에서 비교하는 독립적인 벤치마크 데이터입니다.
100CC-BY-4.0
이 저장소는 TypeSafe AI의 Jev 모델을 오픈 소스로 재현한 것입니다. 150M 파라미터의 비자기회귀 타입 결정 엔진을 제공하며, typed-decisions 벤치마크에서 정확도 0.697(Jev는 0.727), 더 나은 보정을 달성하고 Colab에서 무료로 학습할 수 있습니다.
该仓库明确复现 TypeSafe AI 的 Jev 模型,包含完整代码、训练与评估流程,并在 typed-decisions 基准上与 Jev 对比,属于深入研究/复现项目。