Back to explore

Il modello locale Laya da 421M batte Jev cloud in velocità

Laya è un modello decisionale System 1 open source che gira localmente con 421M parametri, ~1GB di memoria di inferenza, 86,5 decisioni/sec, P50 ~9ms, punteggio 46; rispetto a Jev: 3,2 decisioni/sec, 317ms di round-trip API, punteggio 1.

🚨 A LOCAL 421M MODEL JUST ATE CLOUD JEV ON SPEED Laya is an open-source System 1 decision model that runs on your machine. Laya: 86.5 decisions/sec, P50 ~9ms, score 46 Jev: 3.2 decisions/sec, 317ms API round-trip, score 1 Ships with: — 421M params — ~1GB inference memory

Il modello locale Laya da 421M batte Jev cloud in velocità 1
· 0 likesOpen on X