En användare testade Jev på det medicinska QA-riktmärket igakuQA: 2 000 frågor löstes på cirka 80 sekunder för 0,04 USD; ren textnoggrannhet var 88,6 %, jämförbar med GPT-4o; att använda confidence-trösklar förbättrade noggrannheten ytterligare.
話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。
Under live kliniska konsultationer förser en ambient scribe regelbundet Jev med transkriptioner, och Jev traverserar en medicinsk ontologi för att klassificera symtom, uppdatera differentialdiagnosen, föreslå behandlingar och identifiera varningssignaler i realtid.
Författaren visar hur man triagerar en patient till rätt läkare med endast TypeSafe AI:s Jev-modell och lite kod för att ställa frågor, och noterar att ingen LLM används under samtalet.
En utvecklare delar med sig av att bygga en kalorispårningsapp med Jev och betonar den omedelbara upplevelsen.
