返回探索

社区测试:Jev在医学QA上表现强劲

用户用医学QA基准igakuQA测试Jev:2000题约80秒完成,花费0.04美元;文本限定正解率88.6%,与GPT-4o相当;使用confidence截断可进一步提升正确率。

話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。

社区测试:Jev在医学QA上表现强劲 1
· 1 次赞在 X 打开