Jevが分類器評価で品質と速度の両方で優位
Malte Ubl氏がTypeSafe AIのJevを既存の分類器評価に適用したところ、品質で評価を飽和させ、Gemini 2.5 Flash Liteより6倍高速だった。
関心のあるシナリオでJev、Semif(qwen3.5-4Bの分類ヘッドからlogitsを抽出)、自作の微調整BERT系モデルの性能を比較し、JevはSemifを上回るが自作モデルにはやや劣る結果となった。
Recently I test the performance among Jev, Semif(qwen3.5-4B extract the logits from classification head) and my own fine-tuned bert-like model in one my interested scenario, Jev outperforms the Semif but a bit worse than mine