Back to explore

Jev évalué sur un benchmark de programmation de machines à états

Dorian Smiley partage un benchmark : Gemini Flash Lite 3.1 obtient 75,6% au global, Jev 72,2% au global, 100% sur les tâches canoniques et est environ 6 fois plus rapide, avec des erreurs concentrées sur les compositions inédites.

New state machine programming benchmark: Gemini Flash Lite 3.1: 75.6% overall, 66.7% generalization. Jev: 72.2% overall, 61.4% generalization, but 100% on canonical tasks and ~6× faster. Jev’s misses are concentrated in specific novel compositions, not broad task failure. It is

Jev évalué sur un benchmark de programmation de machines à états 1
· 1 likesOpen on X