Creare un classificatore di codebase con Jev
Uno sviluppatore condivide la creazione di un classificatore di codebase con Jev, suggerendo che può risolvere codice sovraingegnerizzato dagli agenti, e chiede cosa testare dopo.
Braintrust testa Jev come modello giudice
Braintrust ha testato Jev come modello giudice: veloce, economico e competitivo per il groundedness, ma indietro rispetto ai modelli di ragionamento in matematica e codice. Utile per certi task di valutazione, non sostituisce del tutto LLM-as-a-judge.
We tested where Jev holds up as a judge. Jev was fast, cheap, and highly competitive for judging groundedness. But it lagged behind models with reasoning for math and code domains. Use it for certain eval tasks, but don't throw out your LLM-as-a-judge just yet. Read more →
· 26 likesOpen on X
More like this
Jev consente LLM-as-a-Judge a 20–200x più veloce e 40–400x meno costoso
Jev è stato usato per scegliere quale modello è AGI, offrendo 20–200x più velocità e 40–400x meno costo, rendendo LLM-as-a-judge estremamente veloce e quasi gratuito.
Testare app con TypeSafe Jev e OpenCode
Filip condivide una piccola demo che mostra la velocità di test delle app con TypeSafe Jev e OpenCode.
