Jev jämfört med textgenererande modeller
Jev genererar inte fri text. En jämförelsevideo visar skillnaden mellan parallellt beslutsfattande och tokenvis textgenerering.
Jev och lokala beslutsmodeller: prioritera latens
Författaren menar att lokala beslutsmodeller är det bästa tillvägagångssättet, att de kan göras tillräckligt små för de flesta hårdvaror och att latensen bör optimeras för att maximera beslut per sekund.
Jev opened the box, but I believe that having your decisioning model run locally is the winning recipe. Decisioning models can certainly be made small enough for most hardware and you really want to maximize for latency with these models, as a higher decisions-per-second may be
· 1 likesOpen on X
More like this
Prissättning, utvärderingar och namnet Jev
Lanseringstråden förklarar utvärderingar av code + AI arbetsflöden, det annonserade inputpriset och gratis outputtokens.
Jev-modell: sannolikhetsgenerering för beslutsfattande, 200× snabbare och 400× billigare än LLM:er
Denna modell är byggd för beslutsfattande snarare än textgenerering och producerar sannolikheter för varje alternativ parallellt istället för token-för-token-svar. Författaren delar ett förenklat exempel på vanliga LLM:er kontra denna Jev-modell.
