Jev kontra modele generujące tekst
Jev nie generuje swobodnego tekstu. Film porównuje równoległe decyzje z generowaniem tekstu token po tokenie.
Jev vs Gemini: Test obsługi ustrukturyzowanego wyjścia
Autor rozszerzył partię do około 300 pytań na wywołanie. Jev odpowiedział pomyślnie, podczas gdy Gemini odrzucił wszystkie żądania przed wygenerowaniem czegokolwiek. Wejście miało tylko ~55k tokenów w oknie kontekstu ~1M, co wskazuje na problem z egzekwowaniem ustrukturyzowanego wyjścia przez Gemini.
5/7 Then I widened the batch to roughly 300 questions per call. ✅ Jev answered. ❌ Gemini rejected all 300 test requests before generating anything. The input was only ~55k tokens in a ~1M-token context window. The problem was how Gemini enforces structured output using a
· 0 likesOpen on X
More like this
Cennik, ewaluacje i nazwa Jev
Wątek premierowy wyjaśnia ewaluacje przepływów code + AI, ogłoszoną cenę wejścia i darmowe tokeny wyjściowe.
Model Jev: generowanie prawdopodobieństw do podejmowania decyzji, 200× szybszy i 400× tańszy niż LLM
Model ten jest stworzony do podejmowania decyzji, a nie generowania tekstu; generuje prawdopodobieństwa dla każdej opcji równolegle zamiast odpowiedzi token po tokenie. Autor dzieli się uproszczonym przykładem porównania zwykłych LLM z tym modelem Jev.
