Jev kontra modele generujące tekst
Jev nie generuje swobodnego tekstu. Film porównuje równoległe decyzje z generowaniem tekstu token po tokenie.
Jev Engineering: oddzielenie rozumowania od podejmowania decyzji dla szybkości i kosztów
Wyjaśnia, jak Jev Engineering oddziela rozumowanie od podejmowania decyzji, usuwa drogi model z każdej pętli decyzyjnej i kieruje żądania przez najtańszy zdolny model, do 193x szybciej i 444x taniej w testach.
Jev Engineering separates reasoning from decision-making, moves the expensive model out of every decision loop and routes requests through the cheapest capable model instead, running up to 193x faster and 444x cheaper in tests.
· 46 likesOpen on X
More like this
Cennik, ewaluacje i nazwa Jev
Wątek premierowy wyjaśnia ewaluacje przepływów code + AI, ogłoszoną cenę wejścia i darmowe tokeny wyjściowe.
Model Jev: generowanie prawdopodobieństw do podejmowania decyzji, 200× szybszy i 400× tańszy niż LLM
Model ten jest stworzony do podejmowania decyzji, a nie generowania tekstu; generuje prawdopodobieństwa dla każdej opcji równolegle zamiast odpowiedzi token po tokenie. Autor dzieli się uproszczonym przykładem porównania zwykłych LLM z tym modelem Jev.
