TypeSafe AI ajouté à un vérificateur de citations
L'utilisateur a ajouté @typesafeai à son vérificateur de citations et le trouve excellent ; essai gratuit sur PaperTrellis, tags Jev et IA médicale. Link
La conception des questions prime sur le modèle : test Jev vs Laya
Dans le même test de 430 cas, Jev a laissé passer 68 à 92 % des faux rapports d'agents et Laya 84 à 88 % avec preuves ; en posant une question littérale à la place, Jev n'a laissé passer qu'environ 1 % d'erreurs. La question compte plus que le modèle.
Same 430-case test, two AI judges. Shown the evidence, Jev passed 68 to 92% of the false agent reports and Laya 84 to 88%. Asked one literal question instead, Jev let through about 1% of wrong counts and files. The question matters more than the model. https://cejel.dev/experiments
· 0 likesOpen on X
More like this
JevBench : premier benchmark pour les modèles de classe Jev
JevBench est le premier benchmark pour les modèles de classe Jev. Le Jev original de TypeSafe AI est en tête avec 75,3, suivi de SemIf à 74,6. Résultats complets sur benchmarkheaven.com/jev-models. Link
Jev réalise 100 dilemmes du tramway consécutifs
Le post indique que quelqu'un a confié sa vie à Jev et lui a fait réaliser 100 dilemmes du tramway consécutifs ; au premier tour, Jev a choisi d'actionner le levier avec 99 % de probabilité, sacrifiant 1 pour en sauver 5.
