Testare Software

Parcurs: Expert · lecția 5 din 21

ExpertProiectarea testelor6 min de cititPublicat 12 noiembrie 2026

Testarea prin mutații: cum măsori puterea unei suite de teste

Acoperirea codului îți spune ce cod au rulat testele, nu dacă ar observa că e greșit. Testarea prin mutații plantează intenționat bug-uri mici și verifică dacă testele le prind. Este cea mai directă măsură a puterii unei suite de teste pe care o avem.

Pe această pagină

De reținut

  • Testarea prin mutații face multe schimbări mici și intenționate în cod (mutanți), de exemplu > în >= sau + în -, și rulează testele pe fiecare. Un mutant e ucis dacă un test pică și supraviețuiește dacă toate trec.
  • Scorul de mutație (mutanți uciși ÷ mutanți neechivalenți) măsoară cât de bine verifică testele comportamentul, nu doar cât îl execută. Supraviețuitorii arată aserțiuni sau cazuri de test lipsă, concrete.
  • E costisitoare și are zgomot, mai ales mutanții echivalenți, care nu pot fi uciși. Folosește-o selectiv și tratează supraviețuitorii ca pe niște întrebări, nu ca pe un număr de maximizat.

De unde pornim

Ai văzut că testele au nevoie de oracole puternice și că acoperirea nu-ți spune dacă testele ar observa un bug. Testarea prin mutații răspunde direct la întrebare: dacă acest cod ar fi puțin greșit, ar pica vreun test?

Ideea

  1. Iei codul testat.
  2. Aplici o singură schimbare mică, un operator de mutație, ca să creezi un mutant.
  3. Rulezi suita de teste pe mutant.
  4. Dacă cel puțin un test pică, mutantul e ucis. Dacă toate testele trec, a supraviețuit.
  5. Repeți pentru mulți mutanți. Supraviețuitorii arată unde sunt slabe testele.

Tehnica datează de la sfârșitul anilor '70. Un articol din 1978 al lui Richard DeMillo, Richard Lipton și Frederick Sayward a formulat cele două presupuneri din spatele ei:

  • Ipoteza programatorului competent: programele reale sunt de obicei aproape corecte, deci defectele reale tind să fie abateri mici.
  • Efectul de cuplare: testele care detectează defecte simple tind să detecteze și defecte mai complexe.

Un exemplu mic

def eligibil_pentru_reducere(total_comanda):
    return total_comanda >= 100

def test_reducere():
    assert eligibil_pentru_reducere(150)
    assert not eligibil_pentru_reducere(50)

Testul atinge 100% acoperire de linii și de ramuri. Acum o unealtă de mutație schimbă >= în >:

def eligibil_pentru_reducere(total_comanda):
    return total_comanda > 100   # mutant

Ambele aserțiuni trec în continuare. Mutantul supraviețuiește. Testele nu verifică niciodată limita de exact 100, adică exact locul unde trăiesc bug-urile de tip off-by-one. Adăugarea assert eligibil_pentru_reducere(100) îl ucide.

Operatori de mutație des întâlniți

OperatorExemplu de schimbareDetectează teste care ratează…
Înlocuirea operatorului relațional>= → >Verificările de limită
Înlocuirea operatorului aritmetica + b → a - bCalculele greșite
Negarea condițieiif (x) → if (!x)Logica ramurilor
Mutația valorii returnatereturn total → return 0Rezultatele neverificate
Eliminarea unui apel voidȘtergi audit.log(event)Efectele secundare neverificate
Înlocuirea constantelor0.19 → 0.20Valorile de business scrise în cod
Înlocuirea valorilor booleenetrue → falseTratarea flag-urilor

Scorul de mutație și capcanele lui

Scorul de mutație = mutanți uciși ÷ (total mutanți − mutanți echivalenți)

Mutanții echivalenți

Unii mutanți nu pot fi uciși, pentru că nu schimbă comportamentul. Dacă i < 10 devine i != 10 într-o buclă care crește mereu i de la 0 cu câte 1, programul se comportă identic. În general, nu se poate decide automat dacă un mutant e echivalent, așa că uneltele nu-i pot filtra pe toți. Triajul manual costă timp, iar acești mutanți umflă numărul de „supraviețuitori”.

Mutanți redundanți și triviali

Mulți mutanți sunt uciși de orice test care rulează linia respectivă sau de același test ca alte zeci. Umflă scorul fără să spună mare lucru. Uneltele moderne reduc asta prin selecția operatorilor și prin filtrare.

Obsesia scorului

O echipă care urmărește 100% scor de mutație va scrie teste care fixează detalii irelevante, precum mesajele din log-uri și constantele interne, și va face codul greu de schimbat. Țintește supraviețuitorii cu sens, în codul important.

Prezice detectarea defectelor reale?

Exemplu real · Just et al., FSE 2014Sunt mutanții un înlocuitor valid pentru defectele reale?

René Just și colegii săi au studiat 357 de defecte reale din cinci proiecte Java open-source, cu peste 300.000 de linii de cod în total. Pentru fiecare defect aveau versiunea cu bug și versiunea reparată și au comparat cât de bine detectau suitele de teste defectele reale cu cât de bine detectau mutanții.

Au găsit o corelație semnificativă statistic între detectarea mutanților și detectarea defectelor reale, independentă de acoperirea codului. Scorul de mutație a prezis mai bine decât acoperirea instrucțiunilor. Au mai constatat că majoritatea defectelor reale, 73%, erau cuplate cu mutanți obișnuiți, în timp ce unele aveau nevoie de operatori de mutație mai puternici sau noi.

Lecția: scorul de mutație nu e perfect, dar urmărește mai bine decât acoperirea ce ne interesează de fapt: prinderea bug-urilor reale. Acesta e cel mai puternic argument pentru folosirea lui.

Unelte

  • Java/JVM: PIT (Pitest), cea mai folosită unealtă de mutație în industrie.
  • JavaScript/TypeScript, C#, Scala: Stryker.
  • Python: mutmut, Cosmic Ray.
  • C/C++: Mull. Rust: cargo-mutants.

Majoritatea se integrează cu uneltele de build, raportează supraviețuitorii cu locația din cod și pot rula doar pe codul schimbat.

Cum o folosești bine

  1. Începe cu puțin: un modul critic, precum prețurile, permisiunile sau parsarea, nu tot codul.
  2. Citește supraviețuitorii, nu doar număra-i. Fiecare întreabă: „ne lipsește un caz de test sau o aserțiune, ori mutantul e echivalent sau neimportant?”
  3. Repară testele, nu scorul. Adaugă cazul-limită, verifică efectul secundar, verifică valoarea returnată.
  4. Rulează incremental pe codul schimbat, în CI. Rulările complete pe coduri mari sunt scumpe.
  5. Urmărește tendințele, nu o țintă fixă.

Așa da

Să folosești mutanții supraviețuitori în code review: „Acest mutant care schimbă cota de taxă supraviețuiește — ce test ar trebui să-l prindă?” E o întrebare concretă, pe care se poate acționa.

Așa nu

Să faci din „scor de mutație ≥ 90%” un gate obligatoriu pentru tot codul. Echipele vor petrece zile întregi cu mutanți echivalenți și aserțiuni banale în loc de teste cu sens.

Verifică-te

Un mutant care elimină apelul `inventory.reserve(item)` dintr-o funcție de comandă supraviețuiește. Acoperirea acelei linii e de 100%. Ce îți spune asta și ce ai face?

Arată răspunsul

Testele execută apelul, dar nu-i verifică efectul: nimic nu confirmă că stocul e rezervat. Adaugă o aserțiune pe rezultat, de exemplu că stocul disponibil al produsului a scăzut sau că rezervarea a fost înregistrată. Efectele secundare neverificate sunt unul dintre cele mai frecvente goluri pe care le scoate la iveală testarea prin mutații.