Jev kontra modele generujące tekst
Jev nie generuje swobodnego tekstu. Film porównuje równoległe decyzje z generowaniem tekstu token po tokenie.
Ocena trafności za pomocą Jev i równoważenie budżetu tokenów
Post opisuje użycie Jev do oceny trafności każdego fragmentu względem pytania, a następnie równoważenie trafności, nowości i kosztu w celu wypełnienia budżetu tokenów.
Score how relevant each one is to your question using Jev. Finally, fill the token budget by balancing how relevant, new and expensive each passage is.
· 0 likesOpen on X
More like this
Cennik, ewaluacje i nazwa Jev
Wątek premierowy wyjaśnia ewaluacje przepływów code + AI, ogłoszoną cenę wejścia i darmowe tokeny wyjściowe.
Model Jev: generowanie prawdopodobieństw do podejmowania decyzji, 200× szybszy i 400× tańszy niż LLM
Model ten jest stworzony do podejmowania decyzji, a nie generowania tekstu; generuje prawdopodobieństwa dla każdej opcji równolegle zamiast odpowiedzi token po tokenie. Autor dzieli się uproszczonym przykładem porównania zwykłych LLM z tym modelem Jev.
