Um usuário testou o Jev no benchmark de QA médico igakuQA: 2.000 perguntas resolvidas em cerca de 80 segundos por US$ 0,04; a precisão somente de texto foi de 88,6%, comparável ao GPT-4o; o uso de limites de confidence aumentou ainda mais a precisão.
話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。
Durante consultas clínicas ao vivo, um escriba ambiente fornece periodicamente transcrições ao Jev, que percorre uma ontologia médica para classificar sintomas, atualizar o diagnóstico diferencial, sugerir tratamentos e identificar sinais de alerta em tempo real.
O autor demonstra como encaminhar um paciente ao médico certo usando apenas o modelo Jev da TypeSafe AI e um pouco de código para fazer perguntas, observando que nenhum LLM é usado durante a conversa.
Um desenvolvedor compartilha a criação de um app de rastreamento de calorias com Jev, destacando a experiência instantânea.
