Jev kontra modele generujące tekst
Jev nie generuje swobodnego tekstu. Film porównuje równoległe decyzje z generowaniem tekstu token po tokenie.
Jev to nie lepszy LLM, lecz system innej kategorii
Post zauważa, że większość zespołów AI wykonuje 80% wnioskowania na modelu 100 razy droższym niż potrzeba, i przedstawia Jev od TypeSafe AI jako system innej kategorii.
Most AI teams are running 80% of their inference workload through a model that costs 100x more than it needs to. Not because they want to. Because there was no alternative. The alternative is here. Jev by @typesafeai is not a better LLM. It is a different category. A System
· 1 likesOpen on X
More like this
Cennik, ewaluacje i nazwa Jev
Wątek premierowy wyjaśnia ewaluacje przepływów code + AI, ogłoszoną cenę wejścia i darmowe tokeny wyjściowe.
Model Jev: generowanie prawdopodobieństw do podejmowania decyzji, 200× szybszy i 400× tańszy niż LLM
Model ten jest stworzony do podejmowania decyzji, a nie generowania tekstu; generuje prawdopodobieństwa dla każdej opcji równolegle zamiast odpowiedzi token po tokenie. Autor dzieli się uproszczonym przykładem porównania zwykłych LLM z tym modelem Jev.
