Un utilisateur a testé Jev sur le benchmark de QA médicale igakuQA : 2 000 questions résolues en environ 80 secondes pour 0,04 $ ; la précision texte uniquement était de 88,6 %, comparable à GPT-4o ; l'utilisation de seuils de confidence a amélioré la précision.
話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。
Lors de consultations cliniques en direct, un scribe ambiant fournit périodiquement des transcriptions à Jev, qui parcourt une ontologie médicale pour classer les symptômes, mettre à jour le diagnostic différentiel, suggérer des traitements et identifier les signaux d'alerte en temps réel.
L'auteur montre comment orienter un patient vers le bon médecin en utilisant uniquement le modèle Jev de TypeSafe AI et un peu de code pour poser des questions, en précisant qu'aucun LLM n'est utilisé pendant la conversation.
Un développeur partage la création d'une application de suivi des calories avec Jev, soulignant son expérience instantanée.
