Jev kontra modele generujące tekst
Jev nie generuje swobodnego tekstu. Film porównuje równoległe decyzje z generowaniem tekstu token po tokenie.
Wzorzec projektowy kaskadowy dla modeli typu Jev
Przedstawia niedoceniany wzorzec kaskadowy, w którym mały model odpowiada na wszystko, a duży tylko na niepewne przypadki, z wstępnymi danymi.
Very underutilized design pattern no one is talking about (yet) for Jev-like models: cascade. A small model answers everything. A big model answers only what the small one is unsure about. In my runs the big one handled 13% of questions and the pair matched it alone — 90 vs
· 1 likesOpen on X
More like this
Cennik, ewaluacje i nazwa Jev
Wątek premierowy wyjaśnia ewaluacje przepływów code + AI, ogłoszoną cenę wejścia i darmowe tokeny wyjściowe.
Model Jev: generowanie prawdopodobieństw do podejmowania decyzji, 200× szybszy i 400× tańszy niż LLM
Model ten jest stworzony do podejmowania decyzji, a nie generowania tekstu; generuje prawdopodobieństwa dla każdej opcji równolegle zamiast odpowiedzi token po tokenie. Autor dzieli się uproszczonym przykładem porównania zwykłych LLM z tym modelem Jev.
