Back to explore

اختبار مجتمعي: Jev يحقق أداءً قويًا في الأسئلة الطبية

اختبر مستخدم نموذج Jev على معيار الأسئلة الطبية igakuQA: حل 2000 سؤال في حوالي 80 ثانية بتكلفة 0.04 دولار؛ بلغت الدقة النصية فقط 88.6% مقارنة بـ GPT-4o؛ واستخدام حدود confidence أدى إلى تحسين الدقة.

話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。

اختبار مجتمعي: Jev يحقق أداءً قويًا في الأسئلة الطبية 1
· 1 likesOpen on X