Jev kontra modele generujące tekst
Jev nie generuje swobodnego tekstu. Film porównuje równoległe decyzje z generowaniem tekstu token po tokenie.
Wąskie gardło liczenia w Jev: probabilistyczne wyjście nie daje jasnych odpowiedzi
Deweloper stworzył aplikację do liczenia z Jev i odkrył, że zwraca prawdopodobieństwa zamiast jednoznacznych odpowiedzi, często myląc się w oczywistych pytaniach, co ujawnia wąskie gardło w dokładnym liczeniu.
here's one of the major bottlenecks of Jev... i made an app that uses Jev to tell me how many a's are in a word it doesn't return a clear answer, it returns probabilities, it's rarely 100% sure it's right most of the time, but it also gets such an obvious question wrong
· 128 likesOpen on X
More like this
Cennik, ewaluacje i nazwa Jev
Wątek premierowy wyjaśnia ewaluacje przepływów code + AI, ogłoszoną cenę wejścia i darmowe tokeny wyjściowe.
Model Jev: generowanie prawdopodobieństw do podejmowania decyzji, 200× szybszy i 400× tańszy niż LLM
Model ten jest stworzony do podejmowania decyzji, a nie generowania tekstu; generuje prawdopodobieństwa dla każdej opcji równolegle zamiast odpowiedzi token po tokenie. Autor dzieli się uproszczonym przykładem porównania zwykłych LLM z tym modelem Jev.
