Создание классификатора кодовой базы с помощью Jev
Разработчик делится созданием классификатора кодовой базы с помощью Jev, предполагая, что это может решить проблему переусложнённого кода от агентов, и спрашивает, что тестировать дальше.
Laya — это открытая модель принятия решений System 1, работающая локально: 421M параметров, ~1GB памяти для инференса, 86,5 решений/сек, P50 ~9мс, оценка 46; по сравнению с Jev: 3,2 решений/сек, 317мс API-запрос, оценка 1.
🚨 A LOCAL 421M MODEL JUST ATE CLOUD JEV ON SPEED Laya is an open-source System 1 decision model that runs on your machine. Laya: 86.5 decisions/sec, P50 ~9ms, score 46 Jev: 3.2 decisions/sec, 317ms API round-trip, score 1 Ships with: — 421M params — ~1GB inference memory