Jevが分類器評価で品質と速度の両方で優位
Malte Ubl氏がTypeSafe AIのJevを既存の分類器評価に適用したところ、品質で評価を飽和させ、Gemini 2.5 Flash Liteより6倍高速だった。
ユーザーがJEVで6,030件の購入者QAと1,005社のYC企業名チェックを処理し、37,636件の判定・910万トークンを40秒・0.38ドルで実現。Claude Sonnetの36ドルより大幅に低コスト。
JEV is INSANE It read 6,030 ChatGPT answers to buyer questions about 1,005 YC companies and checked every company name in every answer. 37,636 verdicts. 9.1M tokens. 40 seconds. $0.38. Grading the same 6,030 answers with Claude Sonnet cost me $36 last month. 71% of these