Back to explore

Lokales 421M-Modell Laya übertrifft Cloud-Jev bei Geschwindigkeit

Laya ist ein Open-Source-System-1-Entscheidungsmodell, das lokal läuft: 421M Parameter, ~1GB Inferenzspeicher, 86,5 Entscheidungen/Sek., P50 ~9ms, Score 46; im Vergleich zu Jev: 3,2 Entscheidungen/Sek., 317ms API-Roundtrip, Score 1.

🚨 A LOCAL 421M MODEL JUST ATE CLOUD JEV ON SPEED Laya is an open-source System 1 decision model that runs on your machine. Laya: 86.5 decisions/sec, P50 ~9ms, score 46 Jev: 3.2 decisions/sec, 317ms API round-trip, score 1 Ships with: — 421M params — ~1GB inference memory

Lokales 421M-Modell Laya übertrifft Cloud-Jev bei Geschwindigkeit 1
· 0 likesOpen on X