Een gebruiker testte Jev op de medische QA-benchmark igakuQA: 2.000 vragen in ongeveer 80 seconden opgelost voor $ 0,04; de tekst-only nauwkeurigheid was 88,6%, vergelijkbaar met GPT-4o; het gebruik van confidence-drempels verhoogde de nauwkeurigheid verder.
話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。
Tijdens live klinische consulten levert een ambient scribe periodiek transcripties aan Jev, die een medische ontologie doorloopt om symptomen te classificeren, de differentiële diagnose bij te werken, behandelingen voor te stellen en rode vlaggen in realtime te identificeren.
De auteur demonstreert hoe een patiënt naar de juiste arts wordt verwezen met alleen het Jev-model van TypeSafe AI en wat code om vragen te stellen, en merkt op dat er tijdens het gesprek geen LLM wordt gebruikt.
Een ontwikkelaar deelt het bouwen van een calorie-tracking-app met Jev en benadrukt de directe ervaring.
