TypeSafe AIが引用チェッカーに追加
ユーザーが引用チェッカーに@typesafeaiを追加し高評価。PaperTrellisで無料試用可能。Jevと医療AIのタグ付き。 Link
Jevは難しいケースでフロンティアLLMに遅れを取る
独立したテストでは、Jevは安全分類とツールルーティングでLLMと同等だが、オープンエンドなタスクでは劣る。
4/ The catch: they lose on hard cases. In one benchmark Jev scored 72.5% vs 84% for a frontier LLM. An independent test found decision models tie LLMs on safety classification and tool routing, and fall behind on open-ended tasks.
· 0 likesOpen on X
More like this
JevBench：Jevクラスモデル初のベンチマーク公開
JevBenchはJevクラスモデル初のベンチマークです。TypeSafe AIのオリジナルJevが75.3で首位、SemIfが74.6で2位。全結果はbenchmarkheaven.com/jev-modelsで。 Link
Jevがトロッコ問題を100回連続で実行
投稿によると、誰かがJevに命を託し、トロッコ問題を100回連続で実行させた。最初のラウンドでJevは99%の確率でレバーを引き、1人を犠牲にして5人を救う選択をした。
