Jev kontra modele generujące tekst
Jev nie generuje swobodnego tekstu. Film porównuje równoległe decyzje z generowaniem tekstu token po tokenie.
Prawdziwa siła Jev: zwracanie wektorów odpowiedzi hurtowo
Post zauważa, że Jev nie jest tylko klasyfikatorem, ale może zwracać wektory odpowiedzi naraz, oceniając do 255 par wartości dla tego samego zdarzenia, znacznie zmniejszając liczbę zapytań.
הטריק האמיתי: החוזקה האמיתית של Jev היא לא רק שהוא classifier, אלא היכולת שלו להחזיר וקטור תשובות בבת אחת. כלומר - אני יכולה לקחת ערך, ולשאול בבת אחת עבור כל שאר הערכים - מה ההסתברות שמייצגים את אותו האירוע. ואז במכה לקבל תשובה עבור עד 255 זוגות. מקצר את כמות השאילתות בצורה
· 0 likesOpen on X
More like this
Cennik, ewaluacje i nazwa Jev
Wątek premierowy wyjaśnia ewaluacje przepływów code + AI, ogłoszoną cenę wejścia i darmowe tokeny wyjściowe.
Model Jev: generowanie prawdopodobieństw do podejmowania decyzji, 200× szybszy i 400× tańszy niż LLM
Model ten jest stworzony do podejmowania decyzji, a nie generowania tekstu; generuje prawdopodobieństwa dla każdej opcji równolegle zamiast odpowiedzi token po tokenie. Autor dzieli się uproszczonym przykładem porównania zwykłych LLM z tym modelem Jev.
