Creare un classificatore di codebase con Jev
Uno sviluppatore condivide la creazione di un classificatore di codebase con Jev, suggerendo che può risolvere codice sovraingegnerizzato dagli agenti, e chiede cosa testare dopo.
L'autore ha eseguito una pipeline giocattolo che scompone rubriche testuali in risposte strutturate per confrontare Jev e Codex Luna come valutatori in compiti di gusto del codice in stile FrontierCode.
ran a toy pipeline comparing jev vs codex luna as graders on FrontierCode style "code taste" tasks: decomposed text-based rubrics into structured answers (e.g. are all changes necessary? do all changes consistently use the abstractions required by the task?) -> run both models in