Jevが分類器評価で品質と速度の両方で優位
Malte Ubl氏がTypeSafe AIのJevを既存の分類器評価に適用したところ、品質で評価を飽和させ、Gemini 2.5 Flash Liteより6倍高速だった。
Jevベンチマーク：精度とキャリブレーションの比較評価
Jevと9つのオープンチェックポイントを22タスクで評価した結果、Jevはマクロ精度でリードするが、オープンな4Bモデルの方が確率キャリブレーションに優れる。jev-benchは完全公開。
Jev Tests: Accuracy gave one ranking. Calibration gave another. We evaluated Jev and nine open checkpoints across 22 tasks. Jev led on macro accuracy. But an open 4B model produced better-calibrated probabilities. jev-bench is fully open 👇
· 0 likesOpen on X
More like this
JevでDuckDBの行を高速分類
著者がDuckDB拡張を公開。TypeSafe AIのJevを使い、CSV/ParquetファイルやDuckDBテーブルの行を高速分類。1k行で約10秒、LLMより速く、分類器より使いやすい。
JevでAI論文1,018本を分類、総コスト0.08ドル
DeepSeek V4 Flashで各論文を要約し、タイトル・要約・24の候補トピックをJevに送って分類。1,018本のAI論文を総コスト0.08ドル、中央値256msのエンドツーエンド遅延で処理した。
