Bir kullanıcı Jev'i tıbbi QA benchmark'ı igakuQA üzerinde test etti: 2.000 soru yaklaşık 80 saniyede 0,04 $ maliyetle çözüldü; yalnızca metin doğruluğu %88,6 ile GPT-4o'ya yakındı; confidence eşikleri kullanmak doğruluğu daha da artırdı.
話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。
Canlı klinik konsültasyonlar sırasında, ortam yazıcısı transkriptleri düzenli olarak Jev'e iletir; Jev bir tıbbi ontolojiyi tarayarak semptomları sınıflandırır, ayırıcı tanıyı günceller, tedaviler önerir ve kırmızı bayrakları gerçek zamanlı olarak belirler.
Yazar, yalnızca TypeSafe AI'nın Jev modelini ve soru sormak için biraz kod kullanarak bir hastayı doğru doktora nasıl yönlendireceğini gösteriyor ve görüşme sırasında LLM kullanılmadığını belirtiyor.
Bir geliştirici, Jev ile kalori takip uygulaması oluşturma deneyimini paylaşıyor ve anında deneyimi vurguluyor.
