Jev kontra modele generujące tekst
Jev nie generuje swobodnego tekstu. Film porównuje równoległe decyzje z generowaniem tekstu token po tokenie.
Granica zamkniętych decyzji Jev: wyliczalne sloty a LLM
Post twierdzi, że Jev pasuje do zamkniętych decyzji: wybierz narzędzie, wypełnij wyliczalne sloty i używaj LLM tylko wtedy, gdy danych wejściowych nie można wyliczyć—to właściwa granica.
Jev for the closed decision -- pick the tool, fill the enumerable slots -- and an LLM only where the input can't be enumerated. That's the right place to draw the line.
· 0 likesOpen on X
More like this
Cennik, ewaluacje i nazwa Jev
Wątek premierowy wyjaśnia ewaluacje przepływów code + AI, ogłoszoną cenę wejścia i darmowe tokeny wyjściowe.
Model Jev: generowanie prawdopodobieństw do podejmowania decyzji, 200× szybszy i 400× tańszy niż LLM
Model ten jest stworzony do podejmowania decyzji, a nie generowania tekstu; generuje prawdopodobieństwa dla każdej opcji równolegle zamiast odpowiedzi token po tokenie. Autor dzieli się uproszczonym przykładem porównania zwykłych LLM z tym modelem Jev.
