Користувач протестував Jev на медичному бенчмарку QA igakuQA: 2000 запитань вирішено приблизно за 80 секунд за 0,04 долара; точність лише за текстом становила 88,6%, що можна порівняти з GPT-4o; використання відсікань confidence додатково підвищило точність.
話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。
Під час живих клінічних консультацій ambient-скрайб періодично передає транскрипти Jev, який проходить медичною онтологією, щоб класифікувати симптоми, оновлювати диференціальний діагноз, пропонувати лікування та виявляти тривожні ознаки в реальному часі.
Автор демонструє, як направити пацієнта до потрібного лікаря, використовуючи лише модель Jev від TypeSafe AI та трохи коду для запитань, зазначаючи, що під час розмови LLM не використовується.
Розробник ділиться створенням додатка для відстеження калорій з Jev, наголошуючи на миттєвому досвіді.
