Jev jämfört med textgenererande modeller
Jev genererar inte fri text. En jämförelsevideo visar skillnaden mellan parallellt beslutsfattande och tokenvis textgenerering.
Lokal LLM-motor i Jev-stil: inferens på 40 ms enbart för bedömning
Taro L. Saito noterar att, likt Jev, uppnår en lokal LLM-motor 40 ms inferens genom att överge text-/JSON-generering och specialisera sig på bedömning, på DGX Spark.
Just like Jev, to think that a Local LLM engine capable of inference in 40ms is realized simply by abandoning text/json generation and specializing solely in judgment. It's running on DGX Spark, but anyway, it's incredibly fast.
· 1,3 tn likesOpen on X
More like this
Prissättning, utvärderingar och namnet Jev
Lanseringstråden förklarar utvärderingar av code + AI arbetsflöden, det annonserade inputpriset och gratis outputtokens.
Jev-modell: sannolikhetsgenerering för beslutsfattande, 200× snabbare och 400× billigare än LLM:er
Denna modell är byggd för beslutsfattande snarare än textgenerering och producerar sannolikheter för varje alternativ parallellt istället för token-för-token-svar. Författaren delar ett förenklat exempel på vanliga LLM:er kontra denna Jev-modell.
