Benchmark público com 900 decisões reais de auditoria web, respostas do Jev e Opus 5 lado a lado, todas as linhas abertas sob MIT. Jev obteve 85,8/100, igualando o Opus 5.
Congrats on shipping Solomon. If you want a public yardstick for it: 900 real web audit decisions with Jev and Opus 5 answers side by side, all rows open, MIT. Jev matched Opus 5 on 85.8 of 100. Would be great to see where Solomon 27b lands:
Malte Ubl executou o Jev da TypeSafe AI em uma avaliação de classificador existente: saturou a avaliação em qualidade e foi 6x mais rápido que o Gemini 2.5 Flash Lite.
O autor lançou uma extensão do DuckDB que usa o Jev da TypeSafe AI para classificar rapidamente linhas em arquivos CSV/Parquet ou tabelas DuckDB, cerca de 10 segundos para 1k linhas, mais rápido que um LLM e mais ergonômico que um classificador.
O autor resumiu cada artigo com o DeepSeek V4 Flash e enviou título, resumo e 24 tópicos candidatos ao Jev para classificação, processando 1.018 artigos de IA com custo total de US$ 0,08 e latência mediana de 256 ms por artigo.
