Back to explore

Jev-Testranking: 96 % der fehlgeschlagenen Tests in den Top 10 %

Bei 113 Defects4J-Fehlern sortiert das Jev-Modell Testsuiten so, dass 96 % der fehlgeschlagenen Tests in den oberen 10 % erscheinen, besser als BM25 und GPT-5.4 nano, um Builds schneller scheitern zu lassen.

Question: given a patch, can you rank a test suite so the tests that fail show up first? On 113 Defects4J bugs, how often is a failing test in the first 10%? BM25 → 73% GPT-5.4 nano → 92% Jev → 96% fail your builds quicker instead of waiting :)

Jev-Testranking: 96 % der fehlgeschlagenen Tests in den Top 10 % 1
· 0 likesOpen on X