Пользователь протестировал Jev на медицинском бенчмарке QA igakuQA: 2000 вопросов решены примерно за 80 секунд за 0,04 доллара; точность только по тексту составила 88,6%, сравнимая с GPT-4o; использование отсечек confidence дополнительно повысило точность.
話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。
Во время живых клинических консультаций ambient-скрайб периодически передаёт транскрипты Jev, который проходит по медицинской онтологии, чтобы классифицировать симптомы, обновлять дифференциальный диагноз, предлагать лечение и выявлять тревожные признаки в реальном времени.
Автор демонстрирует, как направить пациента к нужному врачу, используя только модель Jev от TypeSafe AI и немного кода для вопросов, отмечая, что во время разговора LLM не используется.
Разработчик делится созданием приложения для отслеживания калорий с Jev, подчеркивая мгновенный опыт.
