Jev kontra modele generujące tekst
Jev nie generuje swobodnego tekstu. Film porównuje równoległe decyzje z generowaniem tekstu token po tokenie.
Model decyzyjny Kev-0.6B klasy Jev wykonuje pojedynczy przebieg w przód na Apple Neural Engine
Kev-0.6B to model decyzyjny klasy Jev działający na Apple Neural Engine. Pojedynczy przebieg w przód, bez generowania tokenów, 7,18 ms na decyzję przy p99 7,53 ms. Umiejscowienie nie jest jeszcze potwierdzone; mierzy się je na trzy sposoby: tylko CPU zwraca zera, a instrument xctrace Neural Engine firmy Apple nalicza 303.
Kev-0.6B, a Jev-class decision model, running on the Apple Neural Engine. One forward pass, no token generation. 7.18 ms per decision, p99 7.53. Placement isn't asserted yet, it's measured three ways: CPU-only returns zeros, Apple's xctrace Neural Engine instrument counts 303
· 1 likesOpen on X
More like this
Cennik, ewaluacje i nazwa Jev
Wątek premierowy wyjaśnia ewaluacje przepływów code + AI, ogłoszoną cenę wejścia i darmowe tokeny wyjściowe.
Model Jev: generowanie prawdopodobieństw do podejmowania decyzji, 200× szybszy i 400× tańszy niż LLM
Model ten jest stworzony do podejmowania decyzji, a nie generowania tekstu; generuje prawdopodobieństwa dla każdej opcji równolegle zamiast odpowiedzi token po tokenie. Autor dzieli się uproszczonym przykładem porównania zwykłych LLM z tym modelem Jev.
