Użytkownik przetestował Jev na medycznym benchmarku QA igakuQA: 2000 pytań rozwiązanych w około 80 sekund za 0,04 USD; dokładność wyłącznie tekstowa wyniosła 88,6%, porównywalna z GPT-4o; zastosowanie progów confidence dodatkowo poprawiło dokładność.
話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。
Podczas konsultacji klinicznych na żywo ambientowy skryba okresowo dostarcza transkrypcje do Jev, który przeszukuje ontologię medyczną, aby klasyfikować objawy, aktualizować diagnozę różnicową, sugerować leczenie i identyfikować sygnały ostrzegawcze w czasie rzeczywistym.
Autor pokazuje, jak skierować pacjenta do właściwego lekarza, używając wyłącznie modelu Jev od TypeSafe AI i odrobiny kodu do zadawania pytań, zaznaczając, że w trakcie rozmowy nie użyto LLM.
Deweloper dzieli się tworzeniem aplikacji do śledzenia kalorii z Jev, podkreślając natychmiastowe działanie.
