Jevとテキスト生成モデルの違い
Jevは自由形式のテキストを生成しません。並列的な意思決定とトークン単位の生成の違いを、Diogoが比較動画で説明します。
Jevで第一原理からLLMを構築：分類器による自己回帰ループ
著者はJevで第一原理からLLMを構築。1文字ごとに29個のyes/no質問で次のキーがa–z、スペース、カンマ、ピリオドのどれかを予測し、最高確率を追加してループに戻す、分類器による自己回帰生成プロセス。
i made an llm from first principles with Jev 29 yes/no questions per character: should the next key be a–z, space, comma, or period? highest probability gets append to it, then fed the updated text back in & repeat an autoregressive loop made out of a classifier
· 884 likesOpen on X
More like this
価格、評価、そしてJevという名前の由来
発表スレッドでは、code + AIのワークフロー評価、発表時の入力価格、無料出力トークンについて説明しています。
Jevモデル：意思決定向け確率生成、LLMより200倍高速・400倍安価
このモデルはテキスト生成ではなく意思決定向けに設計され、トークンごとの応答ではなく各選択肢の確率を並列に出力する。通常のLLMとこのJevモデルの簡易比較例を示している。
