Jev kontra modele generujące tekst
Jev nie generuje swobodnego tekstu. Film porównuje równoległe decyzje z generowaniem tekstu token po tokenie.
TypeSafe Jev: stan i typowane pytania na wejściu, wybór, wynik i prawdopodobieństwo na wyjściu
TinyRouter przedstawia model Jev od TypeSafe: stan i typowane pytania na wejściu, wybór, wynik lub prawdopodobieństwo na wyjściu, bez parsowania tekstu. Przykładowe wywołanie zwraca choice=billing (p=0.71) i score 0.8 przez POST /v1/systemone, z kontekstem 32K i darmowym wyjściem.
Text was never the hard part. Parsing it was. Jev by TypeSafe: state + typed questions in, choice/score/probability out — no prose to parse. Real call → choice=billing (p=0.71), score 0.8. POST /v1/systemone, 32K ctx, output free. #Jev #TypeSafe #DecisionModels
· 0 likesOpen on X
More like this
Cennik, ewaluacje i nazwa Jev
Wątek premierowy wyjaśnia ewaluacje przepływów code + AI, ogłoszoną cenę wejścia i darmowe tokeny wyjściowe.
Model Jev: generowanie prawdopodobieństw do podejmowania decyzji, 200× szybszy i 400× tańszy niż LLM
Model ten jest stworzony do podejmowania decyzji, a nie generowania tekstu; generuje prawdopodobieństwa dla każdej opcji równolegle zamiast odpowiedzi token po tokenie. Autor dzieli się uproszczonym przykładem porównania zwykłych LLM z tym modelem Jev.
