Bygga en kodbas-klassificerare med Jev
En utvecklare delar bygget av en kodbas-klassificerare med Jev, föreslår att det kan lösa överkonstruerad kod från agenter, och frågar vad som ska testas härnäst.
Jev fångar 6/7 defekter med 25x hastighet
Enligt inlägget fångade Jev 6/7 inplanterade problem i Every's defekttest (jämfört med 7/7 för Fable 5.1) på ungefär 25x hastigheten. Författaren rekommenderar att pinna jev-1.13.0, logga log probs och version vid varje anrop och kalibrera om tröskelvärden på egna etiketter.
In Every's defect test (@danshipper) Jev caught 6/7 planted issues vs 7/7 for Fable 5.1, at ~25x the speed. Pin jev-1.13.0, log probs + version on every call, recalibrate thresholds on your own labels. https://every.to/vibe-check/mini-vibe-check-typesafe-s-jev-judged-everything-i-ve-written-in-0-7-seconds…
· 0 likesOpen on X
More like this
Jev möjliggör LLM-as-a-Judge 20–200x snabbare och 40–400x billigare
Jev användes för att välja vilken modell som är AGI, med 20–200x hastighet och 40–400x lägre kostnad, vilket gör LLM-as-a-Judge extremt snabbt och nästan gratis.
Testa appar med TypeSafe Jev & OpenCode
Filip delar en liten demo som visar hur snabbt det går att testa appar med TypeSafe Jev och OpenCode.
