De reținut
- Costul naiv este mutanți × teste × timpul unui test, imposibil pentru coduri mari. Sistemele practice reduc fiecare factor: mutație pe diff, selecția testelor după acoperire, paralelism și eșantionarea mutanților.
- Problema mai mare nu e puterea de calcul, ci atenția programatorilor. Mutanții neproductivi, din logging, cod banal sau schimbări echivalente, distrug încrederea. Filtrarea și limitele pe schimbare contează mai mult decât viteza brută.
- Arată mutanții în code review, pe liniile schimbate, ca sugestii pentru teste lipsă, nu ca scor global.
De unde pornim
Testarea prin mutații îți spune dacă testele ar observa defecte mici. Pe un modul de câteva mii de linii o poți rula cât îți bei cafeaua. Pe un cod cu milioane de linii și zeci de mii de teste, o rulare completă ar putea dura săptămâni și ar produce mai mulți supraviețuitori decât ar putea citi cineva.
De unde vine costul
Un model aproximativ al costului:
timp total ≈ număr de mutanți × teste rulate per mutant × timpul mediu al unui test
| Factor | Naiv | Reducere practică |
|---|---|---|
| Numărul de mutanți | Fiecare operator pe fiecare linie din cod | Doar liniile schimbate; unul sau câțiva mutanți pe linie; sari peste codul neproductiv |
| Teste per mutant | Toată suita | Doar testele care acoperă linia mutată (dintr-o hartă de acoperire) |
| Timpul unei rulări | Rebuild și rulare de fiecare dată | Mutații aplicate pe bytecode sau folosirea schemelor de mutanți (compilezi o dată); oprire la primul test care pică |
| Timpul real | Secvențial | Paralelism masiv; rezultate incrementale |
Uneltele fac deja câteva dintre acestea. PIT, de exemplu, aplică mutațiile pe bytecode-ul JVM și rulează doar testele care acoperă linia. Restul ține de cum o pui în practică.
Mutația pe diff, în code review
În loc să aplici mutații pe tot codul, le aplici doar pe liniile schimbate într-un pull request și raportezi mutanții supraviețuitori ca observații în review:
„Schimbarea lui
>=în>pe linia 42 nu face niciun test să pice. Lipsește un test pentru o comandă de exact 100?”
Așa, costul rămâne proporțional cu schimbarea, iar feedback-ul ajunge la persoana care cunoaște cel mai bine codul, exact când scrie oricum teste.
Goran Petrović, Marko Ivanković și colegii lor au descris cum rulează Google testarea prin mutații în practică, în „Practical Mutation Testing at Scale: A view from Google” (IEEE TSE, 2021).
În loc de rulări pe tot codul, mutanții sunt generați incremental pentru codul schimbat, în timpul code review-ului, și le sunt arătați programatorilor ca observații de review. Sistemul filtrează mutanții din codul unde sunt rareori utili, precum logging-ul și alte linii „aride”, și alege operatorii de mutație după cât de utili au fost mutanții lor în trecut.
Autorii au evaluat aproape 17 milioane de mutanți pe aproximativ 760.000 de schimbări de cod, cu circa 2 milioane de mutanți afișați în code review. Ei raportează că filtrarea și selecția bazate pe context au făcut mutanții mai ușor de folosit de către programatori.
Lecția: la scară mare, testarea prin mutații reușește când respectă atenția programatorilor. Puțini mutanți relevanți, la momentul review-ului, pe codul schimbat, sunt mai buni decât un raport complet pe care nu-l citește nimeni.
Lupta cu mutanții neproductivi
Programatorii încetează repede să citească sugestiile dacă multe sunt inutile. Principalele surse de zgomot și remediile lor:
| Zgomot | Exemplu | Remediu |
|---|---|---|
| Mutanți echivalenți | Mutația unei limite de buclă care nu poate schimba comportamentul | Detectare euristică (de exemplu, verificări de echivalență la compilare); programatorii îi pot marca și ascunde |
| Cod arid | Logging, metrici, mesaje de debug, getteri simpli | Filtrare după tipar și tipul nodului din AST; învățare din feedback |
| Operatori cu valoare mică | Mutații aproape mereu ucise sau aproape niciodată utile | Selecția operatorilor pe limbaj și context, pe baza feedback-ului istoric |
| Prea mulți pe schimbare | 40 de supraviețuitori pe un PR mic | Limită pe fișier sau pe schimbare; prioritizare după risc (logica de business întâi) |
Un buton de feedback („util / inutil”) pe fiecare mutant afișat creează datele necesare ca filtrarea să se îmbunătățească continuu.
Cum o organizezi
- Începe cu mutația pe diff pentru unul sau două servicii critice, raportată în code review, nu ca gate de build.
- Fă-o neblocantă la început. Supraviețuitorii sunt sugestii; programatorii decid.
- Strânge feedback despre utilitate și filtrează agresiv pe baza lui.
- Programează rulări complete pentru modulele critice, săptămânal sau noaptea, ca să urmărești tendințele și să găsești golurile vechi.
- Bugetează puterea de calcul: workeri dedicați, cache pentru rezultate, timeout-uri per mutant (mutanții cu bucle infinite sunt frecvenți).
- Raportează tendințele echipei: supraviețuitori rezolvați pe lună, module cu teste constant slabe.
Așa da
Să arăți cel mult câțiva mutanți supraviețuitori pe schimbare, pe liniile schimbate, ordonați după cât de multă logică de business ating.
Așa nu
Să rulezi noaptea analiza completă de mutații și să trimiți întregii echipe un raport de 3.000 de linii cu supraviețuitori. Nimeni nu va acționa pe baza lui, iar unealta va fi ignorată în tăcere.
Verifică-te
Unealta ta de mutație pe diff durează 25 de minute pe un pull request obișnuit, pentru că rulează toată suita de teste pentru fiecare mutant. Care e cea mai eficientă primă optimizare?
Arată răspunsul
Selecția testelor după acoperire: folosește o hartă de acoperire per test ca să rulezi doar testele care execută linia mutată și oprește-te la primul test care pică. Pentru majoritatea mutanților înseamnă câteva teste în loc de mii. Apoi adaugă paralelism și timeout-uri per mutant.
