No teste do agente de avaliação da Ballet com 1.998 mensagens de suporte complexas, Jev custou US$ 0,095 e 110 segundos contra US$ 4,34 e 220 segundos do Claude Sonnet 5. Sonnet foi cerca de 1 ponto mais preciso, mas Jev foi 46 vezes mais barato.
Same 1,998 complex support messages. Same three questions. @typesafeai Jev: $0.095 and 110 seconds. @AnthropicAI Claude Sonnet 5: $4.34 and 220 seconds. Sonnet was about 1 point more accurate. Jev was 46× cheaper. That decision is what Ballet's evaluation agent does. It
O autor compartilha uma experiência com o Jev: no início parecia complicado, mas ficou claro ao entendê-lo como 'não deixar a IA escrever texto'. Usando o tratamento de solicitações como exemplo, a abordagem convencional joga tudo no GPT ou Claude para analisar, enquanto o Jev adota uma abordagem diferente.
O protótipo usa IA para estimar hesitação ou interesse a partir dos movimentos do cursor ou da pausa antes do clique, observando o comportamento do cliente e complementando explicações ou sugerindo comparações.
O autor criou uma demonstração de atendimento ao cliente em tempo real para e-commerce com Jev e gpt-live-1, que sugere produtos recomendados instantaneamente com base na fala do usuário durante a conversa, proporcionando uma ótima experiência.
