Testare Software

Parcurs: Expert · lecția 3 din 21

ExpertStrategie6 min de cititPublicat 12 noiembrie 2026

Testarea e o problemă de eșantionare: câtă testare e suficientă?

Orice suită de teste e un eșantion minuscul dintr-un spațiu practic infinit de date de intrare, stări și medii. Dacă privești testarea ca eșantionare, înțelegi de ce „suficient” e o decizie despre risc și încredere și primești unelte ca s-o iei cu cifre.

Pe această pagină

De reținut

  • Orice suită de teste eșantionează o parte infimă din combinațiile posibile de date de intrare × stări × medii × momente. Întrebarea nu e niciodată „am testat tot?”, ci „am eșantionat unde contează, suficient de des?”
  • Statistica simplă pune limite clare la ce poate arăta testarea: cu zero defecțiuni în N teste aleatoare independente, poți susține cu 95% încredere doar o rată de defecțiune sub aproximativ 3/N.
  • „Suficient” este o decizie: punctul în care valoarea așteptată a testării suplimentare e mai mică decât costul ei. Fă-o explicită, cu risc, acoperire, tendințe ale defectelor și încredere, nu cu instinctul sau cu calendarul.

De unde pornim

Cunoști testarea bazată pe risc și semnalele clasice de oprire dintr-un plan de testare: criterii de ieșire, acoperire, bug-uri deschise. Articolul acesta merge sub ele: ce îți poate spune de fapt un set finit de teste și cum decizi rațional când te oprești?

Spațiul de eșantionare e absurd de mare

O funcție cu două valori de intrare întregi pe 32 de biți are 2⁶⁴ perechi posibile. La un miliard de teste pe secundă, testarea exhaustivă ar dura peste 500 de ani. Un sistem real înmulțește asta cu starea internă, configurația, concurența, datele din baza de date, versiunile dependențelor și timpul.

Edsger Dijkstra a formulat consecința simplu, în 1970: testarea poate arăta prezența bug-urilor, dar niciodată absența lor. Orice strategie de testare e o strategie de alegere a unui eșantion.

Moduri de a eșantiona

StrategieAnalogie de eșantionarePuternică laSlabă la
Partiții și valori-limităEșantionare stratificatăAcoperirea sistematică a comportamentului specificatDefecte la care specificația nu face aluzie
Selecție bazată pe riscEșantionare ponderatăEfort acolo unde defecțiunea costă cel mai multRiscuri pe care nu le-a identificat nimeni
Profil operațional (teste aleatoare ponderate după utilizarea reală)Eșantionare reprezentativăEstimarea fiabilității așa cum o simt utilizatoriiDate de intrare rare, dar critice
Aleator uniform / fuzzingEșantionare aleatoare simplăLărgime, surpriză, ieftin la volum mareRegiuni de defecțiune minuscule, cu structură
Explorare și testare bazată pe experiențăAdaptivă, ghidată de judecatăUrmărirea anomaliilor, învățare rapidăRepetabilitate, acoperire măsurabilă

Strategiile bune le combină. Tehnicile sistematice găsesc defectele sugerate de specificație. Tehnicile aleatoare și exploratorii le găsesc pe cele pe care nu și le-a imaginat nimeni.

Ce pot și ce nu pot dovedi testele aleatoare

Să presupunem că o defecțiune apare cu probabilitatea p la fiecare test independent extras din profilul operațional. Șansa ca N teste s-o rateze complet este (1 − p)ᴺ.

Consecința practică este regula lui trei (rule of three): dacă rulezi N teste independente cu zero defecțiuni, limita superioară de încredere de 95% pentru probabilitatea de defecțiune este aproximativ 3/N.

Teste fără defecțiunePoți susține (95%) o rată de defecțiune sub aproximativ
3001 la 100
3.0001 la 1.000
3.000.0001 la 1.000.000

Ca să susții „unu la un miliard”, ai avea nevoie de aproximativ trei miliarde de teste reprezentative fără nicio defecțiune. În 1991, Ricky Butler și George Finelli au folosit acest argument ca să arate că demonstrarea doar prin testare a fiabilității cerute unor sisteme critice pentru viață, în jur de 10⁻⁹ defecțiuni pe oră, ar cere un timp de testare imposibil de atins. De aceea astfel de sisteme se bazează și pe analiza designului, pe metode formale și pe protecții arhitecturale.

O regiune de defecțiune rară

Exemplu real · Intel Pentium FDIV, 1994Cinci valori lipsă dintr-un tabel

În 1994, matematicianul Thomas Nicely a observat rezultate greșite în calculele de teoria numerelor făcute pe un nou procesor Intel Pentium. Cauza era în unitatea de împărțire în virgulă mobilă: un tabel de căutare folosit de algoritmul de împărțire avea cinci valori lipsă din peste o mie.

Doar anumite combinații de operanzi ajungeau la acele valori, așa că eroarea era rară în utilizarea obișnuită și nu a fost prinsă înainte de lansare. După presiuni publice, Intel a oferit procesoare de schimb și a înregistrat o cheltuială de 475 de milioane de dolari.

Lecția: regiunea de defecțiune era minusculă și foarte structurată. Un eșantion care imită utilizarea obișnuită are foarte puține șanse s-o atingă. Astfel de regiuni se găsesc raționând despre designul însuși, de exemplu verificând sistematic fiecare valoare din tabel, sau prin eșantionare țintită pe structură.

Semnale că te apropii de „suficient”

Niciun semnal nu e suficient singur. Combină mai multe:

  • Acoperirea riscurilor: fiecare risc mare și mediu are un răspuns de testare planificat și executat. Riscurile reziduale sunt scrise și acceptate de un responsabil.
  • Acoperirea structurală și a modelului: acoperirea codului, a cerințelor, a stărilor sau combinatorie, cu golurile explicate, nu ascunse.
  • Tendința de descoperire a defectelor: numărul de defecte noi pe unitate de efort de testare scade, la aceeași intensitate a testării. O curbă descendentă pentru că ai încetat să testezi intens nu înseamnă nimic.
  • Profilul de severitate: defectele găsite târziu sunt minore, nu grave.
  • Estimări independente: cu metoda captură–recaptură, doi testeri sau două metode testează independent aceeași zonă. Dacă A găsește n₁ defecte, B găsește n₂, iar m sunt găsite de amândoi, o estimare aproximativă a totalului este n₁ × n₂ ÷ m. Multe defecte găsite de o singură metodă sugerează că rămân multe.
  • Încredere din exploatare: pentru sistemele cu telemetrie, ratele de defecțiune din grupurile canary și de la utilizatorii beta sunt eșantioane operaționale reale.

Luarea deciziei

  1. Spune de ce protejează „suficient”: riscurile principale și costul lor dacă apar în producție.
  2. Arată dovezile pentru fiecare: ce s-a eșantionat, cum și ce s-a găsit.
  3. Numește golurile: date de intrare, stări sau medii neeșantionate și de ce.
  4. Estimează valoarea testării suplimentare: ce riscuri ar reduce, cu cât, cu ce cost și cu ce întârziere?
  5. Lasă responsabilul de risc să decidă, cu riscul rezidual exprimat în termeni de business, și consemnează decizia.

Așa da

„Ne oprim aici: toate riscurile mari sunt testate; descoperirea defectelor s-a aplatizat în ultimele 40 de ore de sesiuni exploratorii, la intensitate constantă; cazurile-limită de la plată au fost eșantionate cu 2.000 de cazuri generate, fără defecțiuni. Risc rezidual: versiunile mai vechi de Android, netestate, aproximativ 2% din utilizatori, acceptat de product owner.”

Așa nu

„Am rulat 1.200 de cazuri de test și 98% au trecut, deci am terminat.” E o numărătoare a activității, nu o dovadă despre riscul rămas.

Verifică-te

O echipă a rulat 3.000 de teste independente, extrase din utilizarea realistă, și n-a văzut nicio defecțiune. Echipa susține că „rata de defecțiune e sub 1 la 100.000”. E justificat?

Arată răspunsul

Nu. După regula lui trei, 3.000 de teste fără defecțiuni susțin o limită superioară de 95% de aproximativ 3/3.000 = 1 la 1.000, de o sută de ori mai slabă decât susținerea echipei. Pentru 1 la 100.000 ar avea nevoie de aproximativ 300.000 de teste reprezentative fără defecțiuni sau de alte dovezi, precum analiza designului și datele din exploatare.