Jevが分類器評価で品質と速度の両方で優位
Malte Ubl氏がTypeSafe AIのJevを既存の分類器評価に適用したところ、品質で評価を飽和させ、Gemini 2.5 Flash Liteより6倍高速だった。
著者はJevにTypeSafeとOpenRouterのプレスリリースおよびドキュメントページからの抜粋を13カテゴリのいずれかに分類させ、検査可能なChainForgeフローを公開した。
To make this chart, we asked Jev which of 13 categories best describes each excerpt, taken from typesafe and OpenRouter's press releases and doc pages. "System One model" was one, "Decision model" was another. The flow is available to inspect right here: https://chainforge.ai/play/?f=161gf9kjcdygh…