Back to explore

커뮤니티 테스트: Jev가 의료 QA에서 강력한 성능

사용자가 의료 QA 벤치마크 igakuQA에서 Jev를 테스트했습니다. 2000문제를 약 80초 만에 풀고 비용은 0.04달러였으며, 텍스트 한정 정확도는 88.6%로 GPT-4o와 비슷했습니다. confidence 컷오프를 사용하면 정확도가 더 높아졌습니다.

話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。

커뮤니티 테스트: Jev가 의료 QA에서 강력한 성능 1
· 1 likesOpen on X