Jevとテキスト生成モデルの違い
Jevは自由形式のテキストを生成しません。並列的な意思決定とトークン単位の生成の違いを、Diogoが比較動画で説明します。
Kev-0.6B Jev級意思決定モデルがApple Neural Engineで単一フォワードパスを実行
Kev-0.6BはJev級の意思決定モデルで、Apple Neural Engine上で動作する。単一のフォワードパスでトークン生成はなく、意思決定あたり7.18ms、p99は7.53ms。配置はまだ断定されておらず、3通りで測定されている。CPUのみではゼロを返し、Appleのxctrace Neural Engineインストゥルメントは303をカウントする。
Kev-0.6B, a Jev-class decision model, running on the Apple Neural Engine. One forward pass, no token generation. 7.18 ms per decision, p99 7.53. Placement isn't asserted yet, it's measured three ways: CPU-only returns zeros, Apple's xctrace Neural Engine instrument counts 303
· 1 likesOpen on X
More like this
価格、評価、そしてJevという名前の由来
発表スレッドでは、code + AIのワークフロー評価、発表時の入力価格、無料出力トークンについて説明しています。
Jevモデル：意思決定向け確率生成、LLMより200倍高速・400倍安価
このモデルはテキスト生成ではなく意思決定向けに設計され、トークンごとの応答ではなく各選択肢の確率を並列に出力する。通常のLLMとこのJevモデルの簡易比較例を示している。
