Criando um classificador de código com Jev
Um desenvolvedor compartilha a criação de um classificador de código com Jev, sugerindo que pode resolver código superengenheirado por agentes, e pergunta o que testar a seguir.
O autor executou 8 modelos locais em um Mac usando as mesmas perguntas do JevBench. Um modelo de 4B igualou o Jev em textos curtos, mas nos complexos todos ficaram 17+ pontos atrás.
New article: how accurate are local models vs Jev, a cloud System One classifier? I ran 8 on a Mac, same JevBench questions. A 4B model matched Jev on short texts. On complex ones, all were 17+ points behind. https://rockyshikoku.medium.com/jev-style-text-classification-system-one-run-locally-how-accurate-can-it-get-57f30ed3594a… Video: minicpm5-2b classifying messages.