Budowanie klasyfikatora bazy kodu z Jev
Deweloper dzieli się budową klasyfikatora bazy kodu z Jev, sugerując, że może rozwiązać problem przekombinowanego kodu od agentów, i pyta, co testować dalej.
Deweloper chwali klasyfikator Jev do routingu wnioskowania wielu modeli
Deweloper Chris Dukes twierdzi, że klasyfikator Jev od TypeSafe działa dobrze i nadaje się do routingu do wielu modeli obsługiwanych jednocześnie podczas wnioskowania, ale jest ograniczony przez 8GB VRAM.
Major shoutout to @typesafeai ; #Jev the #classifier works a treat, and is going to be great to route to multiple models served at once when it comes inference time... ...or at least, that would be my PROPER use-case if I wasn't kneecapped at 8GB VRAM 🥲🥲 many thanks for the
· 0 likesOpen on X
More like this
Jev umożliwia LLM-as-a-Judge 20–200x szybciej i 40–400x taniej
Jev został użyty do wyboru, który model jest AGI, oferując 20–200x większą szybkość i 40–400x niższy koszt, czyniąc LLM-as-a-judge niezwykle szybkim i niemal darmowym.
Testowanie aplikacji z TypeSafe Jev i OpenCode
Filip dzieli się małym demo pokazującym szybkość testowania aplikacji z TypeSafe Jev i OpenCode.
