Back to explore

Un modèle dépasse Jev sur les benchmarks de garde sans données propriétaires

Carlos Muñoz Ferrandis rapporte qu'en une semaine, avec deux A100 et uniquement des jeux de données ouverts et des réponses synthétiques, son modèle bat Jev sur 6 des 8 benchmarks publics de garde, obtient une AUROC moyenne de 0,936 contre 0,934 pour Jev, et une latence de 90 ms par requête sur une seule A100.

It took us one week. Two A100s. Zero Alinia data. Only open datasets and synthetic replies. - Beating Jev on 6 of 8 public guard benchmarks. - 0.936 mean AUROC vs Jev’s 0.934 - 90 ms per request on one A100 .

Un modèle dépasse Jev sur les benchmarks de garde sans données propriétaires 1
· 0 likesOpen on X