TypeSafe AIが引用チェッカーに追加
ユーザーが引用チェッカーに@typesafeaiを追加し高評価。PaperTrellisで無料試用可能。Jevと医療AIのタグ付き。 Link
Tencentの論文がJevと主要LLMを比較
この投稿は、選択肢の順序変更に対するJevの判断力を評価したTencentの研究論文を引用し、解ける問題でもJevが誤る場合が多いことを示し、著者の経験と一致すると述べています。
A paper by Tencent comparing the judgments of Jev with those of GPT, Claude, Gemini, and others. The results show that Jev often gets even solvable problems wrong when the order of the options is changed (Figure d). Somehow, this feels like it aligns with my experience.
· 37 likesOpen on X
More like this
JevBench：Jevクラスモデル初のベンチマーク公開
JevBenchはJevクラスモデル初のベンチマークです。TypeSafe AIのオリジナルJevが75.3で首位、SemIfが74.6で2位。全結果はbenchmarkheaven.com/jev-modelsで。 Link
Jevがトロッコ問題を100回連続で実行
投稿によると、誰かがJevに命を託し、トロッコ問題を100回連続で実行させた。最初のラウンドでJevは99%の確率でレバーを引き、1人を犠牲にして5人を救う選択をした。
