Budowanie klasyfikatora bazy kodu z Jev
Deweloper dzieli się budową klasyfikatora bazy kodu z Jev, sugerując, że może rozwiązać problem przekombinowanego kodu od agentów, i pyta, co testować dalej.
Jev wykrywa 6/7 defektów przy 25-krotnej prędkości
Według posta, Jev wykrył 6/7 podrzuconych problemów w teście defektów Every (vs 7/7 dla Fable 5.1) przy około 25-krotnej prędkości. Autor zaleca przypięcie wersji jev-1.13.0, logowanie log probs i wersji przy każdym wywołaniu oraz ponowną kalibrację progów na własnych etykietach.
In Every's defect test (@danshipper) Jev caught 6/7 planted issues vs 7/7 for Fable 5.1, at ~25x the speed. Pin jev-1.13.0, log probs + version on every call, recalibrate thresholds on your own labels. https://every.to/vibe-check/mini-vibe-check-typesafe-s-jev-judged-everything-i-ve-written-in-0-7-seconds…
· 0 likesOpen on X
More like this
Jev umożliwia LLM-as-a-Judge 20–200x szybciej i 40–400x taniej
Jev został użyty do wyboru, który model jest AGI, oferując 20–200x większą szybkość i 40–400x niższy koszt, czyniąc LLM-as-a-judge niezwykle szybkim i niemal darmowym.
Testowanie aplikacji z TypeSafe Jev i OpenCode
Filip dzieli się małym demo pokazującym szybkość testowania aplikacji z TypeSafe Jev i OpenCode.
