Back to explore

Jev brille sur le benchmark WebMCP

Sur le benchmark WebMCP, Jev seul sur le DOM brut réussit 25/49 tâches. En combinant la sélection d'outils WebMCP et l'écriture d'arguments par Mercury 2.5, il atteint 49/49 avec un coût de modèle environ 112 fois inférieur à GPT-6 Astra.

🧪 The WebMCP benchmark by @0xidanlevin is the best stress test so far. Jev alone on the raw DOM: 25/49 tasks. Jev picking WebMCP tools + Mercury 2.5 writing args: 49/49, ~112x lower model cost than GPT-6 Astra. https://webmcp.com/benchmark

Jev brille sur le benchmark WebMCP 1
· 0 likesOpen on X