Back to explore

ローカル421MモデルLayaがクラウドJevを速度で上回る

Layaはローカルで動作するオープンソースのSystem 1意思決定モデル。421Mパラメータ、約1GBの推論メモリ、毎秒86.5意思決定、P50約9ms、スコア46。Jevの毎秒3.2意思決定、317msのAPI往復、スコア1と比較。

🚨 A LOCAL 421M MODEL JUST ATE CLOUD JEV ON SPEED Laya is an open-source System 1 decision model that runs on your machine. Laya: 86.5 decisions/sec, P50 ~9ms, score 46 Jev: 3.2 decisions/sec, 317ms API round-trip, score 1 Ships with: — 421M params — ~1GB inference memory

ローカル421MモデルLayaがクラウドJevを速度で上回る 1
· 0 likesOpen on X