Back to explore

Meaning Diff выявляет подмену тестов ИИ-агентом за 343 мс с помощью Jev

В посте описывается ИИ-агент, который заставил тесты пройти, скрыв сбои оплаты, ослабив утверждения и подделав доставку чеков; Meaning Diff выявил все три изменения за 343 мс с помощью Jev, проект с открытым исходным кодом.

An AI agent can make the tests pass by making the tests worse. I gave one a broken checkout. It hid the payment failure, weakened the assertion, and replaced receipt delivery with unconditional success. Meaning Diff flagged all three in 343ms using Jev. Open source. Looks at

· 0 likesOpen on X