O autor compara o desempenho de Jev, Semif (qwen3.5-4B extraindo logits de uma cabeça de classificação) e um modelo tipo BERT ajustado por ele mesmo em um cenário de interesse, descobrindo que Jev supera o Semif, mas é um pouco pior que seu modelo.
Recently I test the performance among Jev, Semif(qwen3.5-4B extract the logits from classification head) and my own fine-tuned bert-like model in one my interested scenario, Jev outperforms the Semif but a bit worse than mine
Malte Ubl executou o Jev da TypeSafe AI em uma avaliação de classificador existente: saturou a avaliação em qualidade e foi 6x mais rápido que o Gemini 2.5 Flash Lite.
O autor lançou uma extensão do DuckDB que usa o Jev da TypeSafe AI para classificar rapidamente linhas em arquivos CSV/Parquet ou tabelas DuckDB, cerca de 10 segundos para 1k linhas, mais rápido que um LLM e mais ergonômico que um classificador.
O autor resumiu cada artigo com o DeepSeek V4 Flash e enviou título, resumo e 24 tópicos candidatos ao Jev para classificação, processando 1.018 artigos de IA com custo total de US$ 0,08 e latência mediana de 256 ms por artigo.
