Jev ile kod tabanı sınıflandırıcısı oluşturma
Bir geliştirici Jev ile kod tabanı sınıflandırıcısı oluşturduğunu paylaşıyor, ajanların ürettiği aşırı mühendislik kodunu çözebileceğini öne sürüyor ve sırada neyin test edileceğini soruyor.
Yazar, Mac üzerinde aynı JevBench sorularını kullanarak 8 yerel model çalıştırdı. 4B model kısa metinlerde Jev'e eşleşti, ancak karmaşık metinlerde hepsi 17+ puan geride kaldı.
New article: how accurate are local models vs Jev, a cloud System One classifier? I ran 8 on a Mac, same JevBench questions. A 4B model matched Jev on short texts. On complex ones, all were 17+ points behind. https://rockyshikoku.medium.com/jev-style-text-classification-system-one-run-locally-how-accurate-can-it-get-57f30ed3594a… Video: minicpm5-2b classifying messages.