Back to explore

Jev-testrankning: 96 % av misslyckade tester i topp 10 %

På 113 Defects4J-buggar sorterar Jev-modellen testsviter så att 96 % av misslyckade tester visas i de översta 10 %, och överträffar BM25 och GPT-5.4 nano för att få byggen att misslyckas snabbare.

Question: given a patch, can you rank a test suite so the tests that fail show up first? On 113 Defects4J bugs, how often is a failing test in the first 10%? BM25 → 73% GPT-5.4 nano → 92% Jev → 96% fail your builds quicker instead of waiting :)

Jev-testrankning: 96 % av misslyckade tester i topp 10 % 1
· 0 likesOpen on X