Jev kontra modele generujące tekst
Jev nie generuje swobodnego tekstu. Film porównuje równoległe decyzje z generowaniem tekstu token po tokenie.
Oceny pewności Jev i hybrydowe decyzje System 1/System 2
Dzieli się hybrydowym podejściem wykorzystującym Jev do szybkich decyzji System 1 i jego ocenę pewności do przejścia na inteligentniejszy model System 2 w razie potrzeby.
I used this hybrid approach in the demo below. The useful part is that Jev gives us its confidence score, which is a good signal to handoff the task to a larger model if needed. You use Jev for quick and fast system 1 decisions and fall back to a more intelligent slower system 2
· 0 likesOpen on X
More like this
Cennik, ewaluacje i nazwa Jev
Wątek premierowy wyjaśnia ewaluacje przepływów code + AI, ogłoszoną cenę wejścia i darmowe tokeny wyjściowe.
Model Jev: generowanie prawdopodobieństw do podejmowania decyzji, 200× szybszy i 400× tańszy niż LLM
Model ten jest stworzony do podejmowania decyzji, a nie generowania tekstu; generuje prawdopodobieństwa dla każdej opcji równolegle zamiast odpowiedzi token po tokenie. Autor dzieli się uproszczonym przykładem porównania zwykłych LLM z tym modelem Jev.
