Een codebase-classificator bouwen met Jev
Een ontwikkelaar deelt het bouwen van een codebase-classificator met Jev, suggereert dat dit overgeëngineerde code van agents kan oplossen, en vraagt wat er nu getest moet worden.
Braintrust test Jev als judge-model
Braintrust testte Jev als judge-model: snel, goedkoop en competitief voor groundedness, maar achter op redeneermodellen bij wiskunde en code. Geschikt voor bepaalde evaluatietaken, geen volledige vervanging van LLM-as-a-judge.
We tested where Jev holds up as a judge. Jev was fast, cheap, and highly competitive for judging groundedness. But it lagged behind models with reasoning for math and code domains. Use it for certain eval tasks, but don't throw out your LLM-as-a-judge just yet. Read more →
· 26 likesOpen on X
More like this
Jev maakt LLM-as-a-Judge 20–200x sneller en 40–400x goedkoper
Jev werd gebruikt om te bepalen welk model AGI is, met 20–200x snelheid en 40–400x lagere kosten, waardoor LLM-as-a-judge extreem snel en bijna gratis wordt.
Apps testen met TypeSafe Jev & OpenCode
Filip deelt een kleine demo die laat zien hoe snel apps testen met TypeSafe Jev en OpenCode kan zijn.
