Un usuario probó Jev en el benchmark de QA médica igakuQA: 2000 preguntas resueltas en unos 80 segundos por 0,04 USD; la precisión solo en texto fue del 88,6%, comparable a GPT-4o; usar cortes de confidence mejoró aún más la precisión.
話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。
Durante consultas clínicas en vivo, un escriba ambiental proporciona periódicamente transcripciones a Jev, que recorre una ontología médica para clasificar síntomas, actualizar el diagnóstico diferencial, sugerir tratamientos e identificar señales de alerta en tiempo real.
El autor demuestra cómo derivar a un paciente al médico adecuado usando solo el modelo Jev de TypeSafe AI y algo de código para hacer preguntas, señalando que no se usa un LLM durante la conversación.
Un desarrollador comparte la creación de una app de seguimiento de calorías con Jev, destacando su experiencia instantánea.
