Testare Software

Parcurs: Expert · lecția 20 din 21

ExpertStrategie6 min de cititPublicat 12 noiembrie 2026

Adecvarea testelor: când putem avea încredere în suita de teste?

Procentele de acoperire sunt ușor de măsurat și ușor de interpretat greșit. Adecvarea testelor pune o întrebare mai grea: e suita destul de bună ca să prindă defectele care contează? Iată principalele criterii de adecvare, ce spune cercetarea despre ele și cum construiești o imagine de încredere.

Pe această pagină

De reținut

  • Un criteriu de adecvare definește când o suită de teste e „suficientă” pentru un anumit scop: structural (instrucțiuni, ramuri, MC/DC), bazat pe defecte (mutații), bazat pe specificații (cerințe, partiții, stări, combinații) sau bazat pe utilizare.
  • Acoperirea îți spune ce au executat testele, nu ce au verificat. Cercetarea arată că acoperirea e doar un predictor modest al detectării defectelor, odată ce se ține cont de mărimea suitei. E bună la găsirea golurilor, slabă ca măsură a puterii.
  • Încrederea vine din mai multe semnale independente: acoperirea cerințelor și a riscurilor, acoperirea structurală, scorul de mutație, datele despre defectele scăpate, instabilitatea testelor și calitatea oracolelor.

De unde pornim

Câtă testare e suficientă? e despre oprire: decizia, pe baza riscului și a încrederii, de a lansa. Articolul acesta e despre evaluarea suitei înseși: având aceste teste, cât de multă încredere ar trebui să avem în ele și ce lipsește?

O scurtă istorie a adecvării

În 1975, articolul semnat de John Goodenough și Susan Gerhart, „Toward a Theory of Test Data Selection”, întreba ce face un criteriu de selecție a testelor fiabil și valid, deschizând un lung șir de cercetări. În 1997, un studiu de sinteză al lui Hong Zhu, Patrick Hall și John May a organizat în familii numeroasele criterii propuse între timp. Ideea de bază a rămas valabilă: fiecare criteriu măsoară ceva anume și niciunul, singur, nu garantează absența defectelor.

Familii de criterii

FamilieExempleÎți spuneNu-ți spune
Structural (fluxul de control)Acoperirea instrucțiunilor, a ramurilor, a condițiilor, MC/DC, a drumurilorCe cod a fost executat și ce rezultate au avut deciziileDacă rezultatele au fost verificate; dacă contează codul lipsă (cerințe neimplementate)
Structural (fluxul de date)Perechi definiție–utilizareDacă fiecare valoare calculată a fost folosită într-un testLa fel ca mai sus
Bazat pe defecteScorul de mutațieDacă testele detectează defecte mici, introduse intenționatDefectele care nu seamănă cu operatorii de mutație; e costisitor
Bazat pe specificațiiAcoperirea cerințelor, partițiilor, limitelor, tabelelor de decizie, stărilor, combinațiilorDacă a fost exersat comportamentul specificatComportamentul pe care nu l-a specificat nimeni
Bazat pe utilizareAcoperirea profilului operaționalDacă e reprezentată utilizarea realăCazurile rare, dar critice
Bazat pe riscAcoperirea riscurilor identificateDacă efortul s-a potrivit cu risculRiscurile pe care nu le-a identificat nimeni

MC/DC

Acoperirea modificată a condițiilor și deciziilor (MC/DC, modified condition/decision coverage) cere să arăți că fiecare condiție dintr-o decizie influențează independent rezultatul. Pentru if (a && (b || c)), ai nevoie de perechi de teste în care schimbarea doar a lui a, doar a lui b sau doar a lui c inversează rezultatul. Standardele pentru cel mai critic software din aviație, precum DO-178C Nivelul A, cer MC/DC. E exigent și mult mai puternic decât acoperirea ramurilor pentru condițiile complexe.

Ce spune cercetarea despre acoperire

Acoperirea ajută clar la găsirea codului netestat. Dacă o acoperire mai mare înseamnă o detectare mai bună a defectelor e mai nuanțat. Într-un studiu din 2014, Laura Inozemtseva și Reid Holmes au generat multe suite de teste pentru programe Java mari și au constatat că, odată ce se ține cont de mărimea suitei, acoperirea avea doar o corelație slabă spre moderată cu numărul de defecte detectate. Alte studii, precum studiul despre mutații al lui Just și al colegilor săi din același an, au constatat că scorul de mutație urmărea mai bine decât acoperirea instrucțiunilor detectarea defectelor reale.

Interpretarea practică:

  • Acoperirea mică e un avertisment de încredere: codul netestat e netestat.
  • Acoperirea mare e o asigurare slabă: spune că codul a rulat, nu că un rezultat greșit ar fi fost observat.
  • Nu face niciodată dintr-o singură cifră de acoperire o țintă. Echipele vor scrie teste care execută codul fără să-l verifice.

Semnale care construiesc încredere reală

  1. Acoperirea cerințelor și a riscurilor: fiecare cerință și fiecare risc identificat duc la teste care le exersează, iar golurile sunt explicate.
  2. Acoperirea structurală, folosită ca să găsești goluri: analizează codul neacoperit și decide dacă are nevoie de teste, dacă e cod mort sau dacă are risc mic.
  3. Puterea oracolelor: testare prin mutații pe modulele critice; analiza aserțiunilor; niciun „test” care verifică doar absența excepțiilor.
  4. Acoperirea modelelor, acolo unde e relevant: tranziții de stare, coloane ale tabelelor de decizie, combinații t-way.
  5. Analiza defectelor scăpate: pentru fiecare defect din producție, ce test ar fi trebuit să-l prindă și de ce nu l-a prins? Tendințele în timp sunt cea mai onestă măsură a adecvării.
  6. Sănătatea suitei: instabilitatea, timpul de rulare și testele puse în carantină. O suită în care oamenii nu au încredere nu e adecvată, oricare i-ar fi acoperirea.
Exemplu real · SQLite100% MC/DC și tot mai multă testare

SQLite, unul dintre cele mai răspândite motoare de baze de date, își documentează în detaliu testarea pe pagina „How SQLite Is Tested”. La versiunea 3.42.0 (2023), biblioteca avea aproximativ 156.000 de linii de C, iar proiectul avea de aproximativ 590 de ori mai mult cod și scripturi de test.

Nucleul are 100% acoperire a ramurilor și 100% MC/DC cu harness-ul de test TH3. Pe lângă asta, folosește testarea prin mutații ca să verifice că fiecare ramură chiar contează pentru teste și rulează continuu fuzzing, inclusiv prin OSS-Fuzz de la Google.

Pagina notează chiar o tensiune: codul testat la 100% MC/DC tinde să fie mai vulnerabil la tipurile de probleme găsite de fuzzing, așa că are nevoie de amândouă.

Lecția: unul dintre cele mai temeinic testate proiecte din lume nu se bazează pe un singur criteriu de adecvare. Combină acoperirea structurală, verificările bazate pe defecte și testarea aleatoare, pentru că fiecare găsește ce ratează celelalte.

Cum o faci practică

  • Stabilește criteriile după risc: MC/DC și scoruri mari de mutație pentru modulele critice pentru siguranță sau pentru bani; acoperirea ramurilor plus acoperirea riscurilor în rest.
  • Raportează adecvarea ca profil, nu ca număr: „Plăți: 100% acoperire a riscurilor, 94% ramuri, scor de mutație 81%, niciun defect scăpat în 6 luni.”
  • Analizează codul de test cu aceeași grijă ca pe codul de producție; aserțiunile slabe și excesul de mock-uri sunt probleme de adecvare.
  • Revino după incidente: un defect scăpat e o dovadă despre criteriul care lipsea.

Așa da

Să folosești rapoartele de acoperire ca să găsești codul riscant neacoperit și testarea prin mutații ca să găsești comportamentul neverificat, apoi să repari golurile concrete.

Așa nu

Să ceri „80% acoperire” pe tot codul ca definiție a unei suite de teste bune. Recompensează executarea codului, nu verificarea lui.

Verifică-te

Două servicii raportează amândouă 90% acoperire a ramurilor. Serviciul A are un scor de mutație de 85% și niciun defect scăpat anul acesta; serviciul B are 40% și cinci defecte scăpate. Ce îți spune asta și ce ai face pentru B?

Arată răspunsul

Doar după acoperire păreau egale, dar testele lui B execută codul fără să-l verifice bine, lucru confirmat de scorul de mutație mic și de defectele scăpate. Pentru B: analizează mutanții supraviețuitori din modulele critice, întărește aserțiunile și oracolele, adaugă teste pentru drumurile din spatele defectelor scăpate și urmărește în timp scorul de mutație și defectele scăpate, nu acoperirea.