Ein Nutzer testete Jev auf dem medizinischen QA-Benchmark igakuQA: 2.000 Fragen in etwa 80 Sekunden für 0,04 $ gelöst; die reine Textgenauigkeit lag bei 88,6 % und damit auf GPT-4o-Niveau; Confidence-Schwellenwerte verbesserten die Genauigkeit weiter.
話題のjevにigakuQAをとかせてみた。 2000問を80秒ぐらいで解いて0.04ドル。 テキストに限った正解率は88.6%でGPT-4oぐらい。 confidenceが正確と聞いたので、出力させると確かにカットオフによって正解率が上がって面白かった。 医学ドメインでも強そうですね。
Während live klinischer Konsultationen liefert ein Ambient-Scribe regelmäßig Transkripte an Jev, der eine medizinische Ontologie durchläuft, um Symptome zu klassifizieren, die Differenzialdiagnose zu aktualisieren, Behandlungen vorzuschlagen und Warnsignale in Echtzeit zu erkennen.
Der Autor zeigt, wie man einen Patienten nur mit dem Jev-Modell von TypeSafe AI und etwas Code für Fragen an den richtigen Arzt überweist, und weist darauf hin, dass während des Gesprächs kein LLM verwendet wird.
Ein Entwickler teilt die Erstellung einer Kalorien-Tracking-App mit Jev und hebt die sofortige Erfahrung hervor.
