TypeSafe AIが引用チェッカーに追加
ユーザーが引用チェッカーに@typesafeaiを追加し高評価。PaperTrellisで無料試用可能。Jevと医療AIのタグ付き。 Link
専有データなしでJevを上回るモデル、ガードベンチマークで勝利
Carlos Muñoz Ferrandis氏は、1週間・A100×2・公開データセットと合成応答のみで、8つの公開ガードベンチマークのうち6つでJevを上回り、平均AUROCがJevの0.934に対して0.936、単一A100でリクエストあたり90msを達成したと報告。
It took us one week. Two A100s. Zero Alinia data. Only open datasets and synthetic replies. - Beating Jev on 6 of 8 public guard benchmarks. - 0.936 mean AUROC vs Jev’s 0.934 - 90 ms per request on one A100 .
· 0 likesOpen on X
More like this
JevBench：Jevクラスモデル初のベンチマーク公開
JevBenchはJevクラスモデル初のベンチマークです。TypeSafe AIのオリジナルJevが75.3で首位、SemIfが74.6で2位。全結果はbenchmarkheaven.com/jev-modelsで。 Link
Jevがトロッコ問題を100回連続で実行
投稿によると、誰かがJevに命を託し、トロッコ問題を100回連続で実行させた。最初のラウンドでJevは99%の確率でレバーを引き、1人を犠牲にして5人を救う選択をした。
