Jev kontra modele generujące tekst
Jev nie generuje swobodnego tekstu. Film porównuje równoległe decyzje z generowaniem tekstu token po tokenie.
Wzorzec działający z Jev: najpierw klasyfikacja, potem generacja
Użytkownik dzieli się praktyką z Jev: najpierw klasyfikacja, potem generacja; ten sam pomysł zastosowano do selekcji wątków Reddit, obniżając koszt potoku ~30x, a router ma to teraz wbudowane.
this is the pattern that actually works with jev: classify first, generate second. we do the same thing one layer up for reddit threads (cited by ai / not cited / worth replying), and it cut our pipeline cost ~30x. nice to see it built into the router
· 1 likesOpen on X
More like this
Cennik, ewaluacje i nazwa Jev
Wątek premierowy wyjaśnia ewaluacje przepływów code + AI, ogłoszoną cenę wejścia i darmowe tokeny wyjściowe.
Model Jev: generowanie prawdopodobieństw do podejmowania decyzji, 200× szybszy i 400× tańszy niż LLM
Model ten jest stworzony do podejmowania decyzji, a nie generowania tekstu; generuje prawdopodobieństwa dla każdej opcji równolegle zamiast odpowiedzi token po tokenie. Autor dzieli się uproszczonym przykładem porównania zwykłych LLM z tym modelem Jev.
