Budowanie klasyfikatora bazy kodu z Jev
Deweloper dzieli się budową klasyfikatora bazy kodu z Jev, sugerując, że może rozwiązać problem przekombinowanego kodu od agentów, i pyta, co testować dalej.
Braintrust testuje Jev jako model sędziego
Braintrust przetestował Jev jako model sędziego: szybki, tani i konkurencyjny w ocenie groundedness, ale ustępuje modelom rozumującym w matematyce i kodzie. Przydatny do niektórych zadań ewaluacyjnych, nie zastępuje w pełni LLM-as-a-judge.
We tested where Jev holds up as a judge. Jev was fast, cheap, and highly competitive for judging groundedness. But it lagged behind models with reasoning for math and code domains. Use it for certain eval tasks, but don't throw out your LLM-as-a-judge just yet. Read more →
· 26 likesOpen on X
More like this
Jev umożliwia LLM-as-a-Judge 20–200x szybciej i 40–400x taniej
Jev został użyty do wyboru, który model jest AGI, oferując 20–200x większą szybkość i 40–400x niższy koszt, czyniąc LLM-as-a-judge niezwykle szybkim i niemal darmowym.
Testowanie aplikacji z TypeSafe Jev i OpenCode
Filip dzieli się małym demo pokazującym szybkość testowania aplikacji z TypeSafe Jev i OpenCode.
