O autor executou 9 decisões em cada uma das 300 páginas web públicas por 2 centavos no total, e o Opus 5 avaliou as 900: 85,8/100 de concordância geral, chegando a 98/100 quando o Jev está seguro, com código aberto e vídeo comparativo.
First thing I did with open access: 300 public web pages, 9 decisions each, 2 cents total, then Opus 5 graded 900 of them. 85.8 of 100 agree, and where Jev is sure it is 98 of 100. Open source, with a side by side video:
Malte Ubl executou o Jev da TypeSafe AI em uma avaliação de classificador existente: saturou a avaliação em qualidade e foi 6x mais rápido que o Gemini 2.5 Flash Lite.
O autor lançou uma extensão do DuckDB que usa o Jev da TypeSafe AI para classificar rapidamente linhas em arquivos CSV/Parquet ou tabelas DuckDB, cerca de 10 segundos para 1k linhas, mais rápido que um LLM e mais ergonômico que um classificador.
O autor resumiu cada artigo com o DeepSeek V4 Flash e enviou título, resumo e 24 tópicos candidatos ao Jev para classificação, processando 1.018 artigos de IA com custo total de US$ 0,08 e latência mediana de 256 ms por artigo.
