Back to explore

로컬 421M 모델 Laya, 속도에서 클라우드 Jev를 앞서다

Laya는 로컬에서 실행되는 오픈소스 System 1 의사결정 모델로, 421M 파라미터, 약 1GB 추론 메모리, 초당 86.5회 의사결정, P50 약 9ms, 점수 46을 기록했습니다. Jev의 초당 3.2회, 317ms API 왕복, 점수 1과 비교됩니다.

🚨 A LOCAL 421M MODEL JUST ATE CLOUD JEV ON SPEED Laya is an open-source System 1 decision model that runs on your machine. Laya: 86.5 decisions/sec, P50 ~9ms, score 46 Jev: 3.2 decisions/sec, 317ms API round-trip, score 1 Ships with: — 421M params — ~1GB inference memory

로컬 421M 모델 Laya, 속도에서 클라우드 Jev를 앞서다 1
· 0 likesOpen on X