Un utente ha testato Jev sul benchmark di QA medico igakuQA: 2.000 domande risolte in circa 80 secondi per 0,04 $; l'accuratezza solo testuale era dell'88,6%, paragonabile a GPT-4o; l'uso di soglie di confidence ha ulteriormente migliorato l'accuratezza.
話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。
Durante le consulenze cliniche dal vivo, un scriba ambientale fornisce periodicamente le trascrizioni a Jev, che percorre un'ontologia medica per classificare i sintomi, aggiornare la diagnosi differenziale, suggerire trattamenti e identificare segnali d'allarme in tempo reale.
L'autore mostra come indirizzare un paziente al medico giusto usando solo il modello Jev di TypeSafe AI e un po' di codice per porre domande, osservando che durante la conversazione non viene usato alcun LLM.
Uno sviluppatore condivide la creazione di un'app per il monitoraggio delle calorie con Jev, evidenziando l'esperienza istantanea.
