Jev 在分类器评测中质量与速度均胜出
Malte Ubl 将 TypeSafe AI 的 Jev 用于现有分类器评测，结果在质量上饱和评测集，速度比 Gemini 2.5 Flash Lite 快 6 倍。
Jev 基准测试：准确率与校准的对比评估
对 Jev 及九个开放检查点在 22 项任务上的评估显示，Jev 在宏观准确率上领先，但一个开放 4B 模型在概率校准上表现更优，jev-bench 完全开放。
Jev Tests: Accuracy gave one ranking. Calibration gave another. We evaluated Jev and nine open checkpoints across 22 tasks. Jev led on macro accuracy. But an open 4B model produced better-calibrated probabilities. jev-bench is fully open 👇
· 0 次赞在 X 打开
更多类似内容
用 Jev 在 DuckDB 中快速分类数据行
作者发布了一个 DuckDB 扩展，使用 TypeSafe AI 的 Jev 对 CSV/Parquet 文件或 DuckDB 表中的行进行快速分类，约 10 秒处理 1k 行，比 LLM 更快且比分类器更易用。
用 Jev 分类 1018 篇 AI 论文：总成本 0.08 美元
作者用 DeepSeek V4 Flash 生成摘要，再将标题、摘要和 24 个候选主题交给 Jev 分类，完成 1018 篇 AI 论文的归类，总成本 0.08 美元，单篇中位端到端延迟 256 毫秒。
