Realtime-Bench：Jev は最速だがスコアはわずか8%
Realtime-Bench の主な発見：最良モデル GPT-6-Astra は36%を達成。Jev は1秒未満で回答する最速モデルだが8%に留まる。推論の追加は時計が止まっている場合にのみ有効で、実時間では遅い思考が勝敗を左右。時間を止めても未解決のタスクが多い。
THE JEV GUIDE · CURATED EDITION
科学研究.
TypeSafe Jevに関する発表、解説、デモ、コミュニティ事例をトピック別に整理しています。各項目からXの元投稿を確認できます。
キュレーション選定 · 全件ではありません · 手動更新
6757件の収録投稿
3414件の元投稿動画
Sponsors
これらの製品がこのディレクトリを支援しています。 あなたの製品も載せませんか？
alphaXiv、4B意思決定モデルを公開しJevと比較
alphaXivは117kの意思決定例で4Bモデルを訓練し、皮肉検出以外ではJevとほぼ同等の性能を示したと報告。ヘイトスピーチの重大度など未見タスクへの汎化も見られた。
Decision Bench 結果：Jev 1.13 対 Clef Omni
Wasim Jalali 氏が Decision Bench 9日目の結果を共有：Clef Omni は87.2%の精度で8モデル中最下位。Jev 1.13 と隠れた質問数やノイズ処理を比較。保守的で大半のノイズを残す。
Jevは難しいケースでフロンティアLLMに遅れを取る
独立したテストでは、Jevは安全分類とツールルーティングでLLMと同等だが、オープンエンドなタスクでは劣る。
専有データなしでJevを上回るモデル、ガードベンチマークで勝利
Carlos Muñoz Ferrandis氏は、1週間・A100×2・公開データセットと合成応答のみで、8つの公開ガードベンチマークのうち6つでJevを上回り、平均AUROCがJevの0.934に対して0.936、単一A100でリクエストあたり90msを達成したと報告。
One card in the feed, every sixteen, on every page of it. $50 a week, cancel any week.
Tencentの論文がJevと主要LLMを比較
この投稿は、選択肢の順序変更に対するJevの判断力を評価したTencentの研究論文を引用し、解ける問題でもJevが誤る場合が多いことを示し、著者の経験と一致すると述べています。
Jevでスキャン済み論文の再確認ページをマーク
ユーザーは、Jevを使って方程式を含むスキャン済み論文フォルダを処理し、再確認が必要なページを自動でマークすることを提案しています。 Link
Jevでロボットモデリング論文を分類
Ben Kolligs 氏は @typesafe の Jev を使ってロボットモデリング論文のタイトルと要旨を分類し、VLA モデルの論文が 2023 年の約 10% から 2026 年 1〜9 月には 38% に、ワールドモデルは 9% から 18% に増加したと報告しています。
LLM校正に関する興味深いアイデア：Jevと意思決定モデル
Latent Spaceポッドキャストで、swyxがJevと意思決定モデルについて議論し、LLM校正の珍しい話題に触れ、人々が知らないかもしれない校正要素を強調しました。
Jevに触発された意思決定モデルの比較研究
著者は#Jevを基にした新しい意思決定モデルとローカル小モデルを比較し、例が少ない場合はAPIが有利で、データが増えると結果が変わることを示している。 Link
Decision Bench 5日目：Jev 1.13 がマイクロソフトモデルと接戦
Decision Bench 5日目の結果を報告：Microsoft-Decision-1 が96.4%の精度でリードし、Jev 1.13 はわずか1チェック差で追従。隠された質問数とノイズコメントのコストにも言及。
多回答タスクにおけるJevの確率割り当てに関する研究
この投稿は、複数回答タスクにおけるモデルの挙動に関する研究を共有しています。モデルは正解オプションを妨害要素より前に並べられるものの、一部の正解項目に低い確率を割り当てることがあります。論文はMetaTool、HotpotQA、ECtHRでJevなどのモデルを評価しています。 Link
