Jev jämfört med textgenererande modeller
Jev genererar inte fri text. En jämförelsevideo visar skillnaden mellan parallellt beslutsfattande och tokenvis textgenerering.
Hur man utvärderar Jevs noggrannhet
Diskuterar att Jev inte kan hitta på ett svar utanför ett fördefinierat schema, men fortfarande kan välja fel svar inom det, ibland med hög konfidens, och tar upp utvärderingsfrågor för lågriskscenarier.
Jev is cool, but the question I’ve heard most over the past few days is: how do we evaluate its accuracy? 🤔 Jev cannot invent an answer outside a predefined schema, but it still can choose the wrong answer within it, sometimes even with high confidence. For low-stakes,
· 3 likesOpen on X
More like this
Prissättning, utvärderingar och namnet Jev
Lanseringstråden förklarar utvärderingar av code + AI arbetsflöden, det annonserade inputpriset och gratis outputtokens.
Jev-modell: sannolikhetsgenerering för beslutsfattande, 200× snabbare och 400× billigare än LLM:er
Denna modell är byggd för beslutsfattande snarare än textgenerering och producerar sannolikheter för varje alternativ parallellt istället för token-för-token-svar. Författaren delar ett förenklat exempel på vanliga LLM:er kontra denna Jev-modell.
