Back to explore

การทดสอบโดยชุมชน: Jev ทำผลงานได้ดีใน QA ทางการแพทย์

ผู้ใช้ทดสอบ Jev บนชุดข้อมูล QA ทางการแพทย์ igakuQA: 2,000 คำถามใช้เวลาประมาณ 80 วินาทีด้วยค่าใช้จ่าย 0.04 ดอลลาร์; ความแม่นยำเฉพาะข้อความ 88.6% เทียบเท่า GPT-4o; การใช้เกณฑ์ confidence ช่วยเพิ่มความแม่นยำยิ่งขึ้น

話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。

การทดสอบโดยชุมชน: Jev ทำผลงานได้ดีใน QA ทางการแพทย์ 1
· 1 likesOpen on X