Wikipediaリンクレース：数千の選択肢から選ぶデモ
モデルが数百から数千のリンクから次の一手を選び、制約付き出力での高速な意思決定をゲーム形式で示します。元投稿には4分04秒の動画があります。
Jevモデルの文字カウントタスク性能テスト
ユーザーがTypeSafe AIのJevモデルにstrawberryのrの数を数えさせたところ、一般的なLLMと同様に不安定な結果となった。
can @typesafeai Jev count the r's in strawberry? no. 47% says 3, 47% says 2. a coin flip, same as every LLM. On 70% on 168 test words, it undercounts doubled letters like everyone then I gave it the letters instead of the word: ["s","t","r","a","w","b","e","r","r","y"]
· 149 likesOpen on X
More like this
JevとTypeSafe AIによるセマンティッククエリのユースケース
Nathan LeClaire氏がJevとTypeSafe AIのセマンティッククエリのユースケースを紹介し、可能性はまだ表面に過ぎないと述べる。
Jevでトランプ対ハリス討論のライブBSメーターを構築
著者はJevを使い、トランプ対ハリス討論の全発言にライブBSメーターを適用。両候補に各5つのはい/いいえ質問を行い、合計1,191回のJev呼び出し、118万トークン、中央値415ms、総コスト0.0497ドル。
