Back to explore

Tes komunitas: Jev tampil kuat pada QA medis

Seorang pengguna menguji Jev pada benchmark QA medis igakuQA: 2.000 pertanyaan diselesaikan dalam sekitar 80 detik dengan biaya $0,04; akurasi khusus teks 88,6%, sebanding dengan GPT-4o; menggunakan ambang confidence semakin meningkatkan akurasi.

話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。

Tes komunitas: Jev tampil kuat pada QA medis 1
· 1 likesOpen on X