Jev kontra modele generujące tekst
Jev nie generuje swobodnego tekstu. Film porównuje równoległe decyzje z generowaniem tekstu token po tokenie.
JEV zwraca nie tylko prawdopodobieństwa kandydatów, ale także wynik pewności
Autor zauważył, że JEV zwraca prawdopodobieństwa dla wyborów kandydatów wraz z wynikiem pewności swojej prognozy, i zastanawiał się, czy TypeSafe AI przywróciło sieci bayesowskie do uczenia niepewności, ale zgodnie z ich dokumentacją tak nie jest.
I was super intrigued when I noticed that JEV returns not just probs for candidate choices, but also a CONFIDENCE SCORE of it's prediction... I was wondering if TypeSafe AI brought back Bayesian Networks or something to learn uncertainty. Turns out - NO. Acc to their docs,
· 42 likesOpen on X
More like this
Cennik, ewaluacje i nazwa Jev
Wątek premierowy wyjaśnia ewaluacje przepływów code + AI, ogłoszoną cenę wejścia i darmowe tokeny wyjściowe.
Model Jev: generowanie prawdopodobieństw do podejmowania decyzji, 200× szybszy i 400× tańszy niż LLM
Model ten jest stworzony do podejmowania decyzji, a nie generowania tekstu; generuje prawdopodobieństwa dla każdej opcji równolegle zamiast odpowiedzi token po tokenie. Autor dzieli się uproszczonym przykładem porównania zwykłych LLM z tym modelem Jev.
