Nous avons évalué Jev de TypeSafe AI, un modèle qui répond à des questions typées avec un score de confiance, en tant que pré-étiqueteur sur trois tâches, afin de déterminer si la confiance peut décider quelles étiquettes évitent la revue humaine.
1/ Can a model’s confidence decide which labels skip human review? We benchmarked @typesafeai's #Jev, a model that answers typed questions with a confidence score, as a pre-labeler across three tasks. 🧵
Le LLM conserve mémoire et contexte, utilise agent-desktop pour prendre des captures et les envoie à Jev, qui sélectionne le bon élément pour agir, accélérant Computer Use avec Cursor et en mode headless.
Riley Brown partage que Jev de TypeSafe AI a classé 500 e-mails en quelques secondes pour seulement 3,5 centimes, illustrant une classification rapide et peu coûteuse.
Vidéo explicative complète présentant Jev, une IA qui n'écrit pas de texte mais détermine vers quel service acheminer les demandes et leur urgence.
