Back to explore

Thử nghiệm cộng đồng: Jev hoạt động tốt trên QA y tế

Một người dùng đã thử nghiệm Jev trên bộ benchmark QA y tế igakuQA: 2.000 câu hỏi được giải trong khoảng 80 giây với chi phí 0,04 USD; độ chính xác chỉ xét văn bản là 88,6%, tương đương GPT-4o; dùng ngưỡng confidence giúp tăng độ chính xác hơn nữa.

話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。

Thử nghiệm cộng đồng: Jev hoạt động tốt trên QA y tế 1
· 1 likesOpen on X