Jevが分類器評価で品質と速度の両方で優位
Malte Ubl氏がTypeSafe AIのJevを既存の分類器評価に適用したところ、品質で評価を飽和させ、Gemini 2.5 Flash Liteより6倍高速だった。
Arena.aiのデータによると、Jevは効率を優先し、全モデル呼び出しの4分の1以上(28.1%)をDeepSeek V4.1 Flashにルーティングしています。また、AnthropicのLLMよりもOpenAIモデル(GPT-6 Astraなど)を好んでいます。
Jev prioritised efficiency and routed most calls to DeepSeek V4.1 Flash - over a quarter (28.1%) of all model calls. It showed preference for OpenAI models over Anthropic’s LLMs. GPT-6 Astra was the second most popular model (23.5%), followed by other GPT models, Sol (22.8%) and