Jev tegenover tekstgenererende modellen
Jev genereert geen vrije tekst. Een video vergelijkt parallel beslissen met token voor token tekstgeneratie.
Hoe de nauwkeurigheid van Jev te evalueren
Bespreking dat Jev geen antwoord kan verzinnen buiten een vooraf gedefinieerd schema, maar nog steeds verkeerde antwoorden binnen het schema kan kiezen, soms met hoge zekerheid, en werpt evaluatievragen op voor scenario's met laag risico.
Jev is cool, but the question I’ve heard most over the past few days is: how do we evaluate its accuracy? 🤔 Jev cannot invent an answer outside a predefined schema, but it still can choose the wrong answer within it, sometimes even with high confidence. For low-stakes,
· 3 likesOpen on X
More like this
Prijs, evaluaties en de naam Jev
De launchthread legt code plus AI workflow evaluaties uit, de aangekondigde invoerprijs en gratis outputtokens.
Jev-model: waarschijnlijkheidsgeneratie voor besluitvorming, 200× sneller en 400× goedkoper dan LLM's
Dit model is gemaakt voor besluitvorming in plaats van tekstgeneratie en genereert waarschijnlijkheden voor elke optie parallel in plaats van token voor token antwoorden. De auteur deelt een vereenvoudigd voorbeeld van normale LLM's versus dit Jev-model.
