Jevals-Daten: unabhängiger Benchmark für TypeSafe Jev
Unabhängige Benchmark-Daten, die TypeSafe AIs Jev (System One Modell) mit mehreren LLMs in Entscheidungs-Score, Genauigkeit, Kalibrierung, Kosten und Latenz vergleichen.
AnyJev ist eine offene Forschungsbibliothek, die jedes offene LLM in ein Jev-artiges Entscheidungsmodell verwandelt und typisierte Entscheidungen, kalibrierte Wahrscheinlichkeiten, trainingsfreie L0/L1-Kalibrierung sowie Benchmark-Vergleiche mit Jev bietet.
该仓库是一个实质性的研究项目,实现并评测了Jev风格的决策模型(AnyJev),将任意LLM转换为带类型化决策和可靠概率的模型,并与TypeSafe AI的Jev结果进行对比,属于深入研究Jev/System One思路的技术资源。