Jevals-gegevens: onafhankelijke benchmark voor TypeSafe Jev
Onafhankelijke benchmarkgegevens die Jev (System One-model) van TypeSafe AI vergelijken met verschillende LLM's op beslissingsscore, nauwkeurigheid, kalibratie, kosten en latentie.
Deze repository is een open reproductie van het Jev-model van TypeSafe AI en biedt een niet-autoregressieve getypeerde beslissingsengine met 150M parameters. Het behaalt een nauwkeurigheid van 0,697 op de typed-decisions benchmark (Jev: 0,727), met betere kalibratie, en kan gratis op Colab worden getraind.
该仓库明确复现 TypeSafe AI 的 Jev 模型,包含完整代码、训练与评估流程,并在 typed-decisions 基准上与 Jev 对比,属于深入研究/复现项目。