Jev kontra modele generujące tekst
Jev nie generuje swobodnego tekstu. Film porównuje równoległe decyzje z generowaniem tekstu token po tokenie.
Jev open source: odpowiada na typowane pytania w jednym przebiegu
Autor umieszcza drugi model obok LLM na Spark. Nie pisze tekstu, lecz przyjmuje stan i typowane pytania, odpowiadając na każde w jednym przebiegu z prawdopodobieństwem. To wersja open source Jev, instalowalna na macOS i sprzęcie Nvidia.
I put a second model next to the LLM on my Spark. It does not write text. You send it a state and typed questions, and it answers every one of them in a single forward pass, each with a probability. Yes it is Jev the open source version. It can be installed on macOS, any Nvidia
· 35 likesOpen on X
More like this
Cennik, ewaluacje i nazwa Jev
Wątek premierowy wyjaśnia ewaluacje przepływów code + AI, ogłoszoną cenę wejścia i darmowe tokeny wyjściowe.
Model Jev: generowanie prawdopodobieństw do podejmowania decyzji, 200× szybszy i 400× tańszy niż LLM
Model ten jest stworzony do podejmowania decyzji, a nie generowania tekstu; generuje prawdopodobieństwa dla każdej opcji równolegle zamiast odpowiedzi token po tokenie. Autor dzieli się uproszczonym przykładem porównania zwykłych LLM z tym modelem Jev.
