De reținut
- Testarea black-box („cutie neagră”) proiectează testele pornind de la specificație: ce ar trebui să facă software-ul, fără să te uiți în cod.
- Testarea white-box („cutie albă”) proiectează testele pornind de la structura internă: codul, ramurile și drumurile lui. Se măsoară prin acoperirea codului (code coverage).
- Testarea bazată pe experiență folosește cunoștințele și intuiția testerului: ghicirea erorilor, testarea exploratorie, checklist-urile. Cea mai bună testare le combină pe toate trei.
De ce să grupăm tehnicile?
Există zeci de tehnici de proiectare a testelor. Dacă le grupezi după de unde vin ideile de test, alegi mai ușor: sursa ta sunt cerințele, codul sau ce știi despre felul în care cedează de obicei software-ul?
Programa ISTQB Foundation folosește exact aceste trei familii, iar „Care e diferența dintre testarea black-box și white-box?” e una dintre cele mai frecvente întrebări la interviurile pentru juniori.
Testarea black-box
Tratezi software-ul ca pe o cutie închisă. Știi ce intră și ce ar trebui să iasă, dar nu și cum funcționează înăuntru.
Ideile de test vin din cerințe, user story-uri, criterii de acceptare și design. O poate face oricine înțelege cerințele, fără să știe programare.
Tehnicile principale:
| Tehnica | Ideea | Citește mai mult |
|---|---|---|
| Partiționarea în clase de echivalență | Grupezi valorile care ar trebui să se comporte la fel; testezi câte una din fiecare grup. | Partiționarea în clase de echivalență |
| Analiza valorilor-limită | Bug-urile se adună la margini; testezi chiar în interiorul și chiar în afara fiecărei limite. | Analiza valorilor-limită |
| Tabelele de decizie | Testezi fiecare combinație relevantă de reguli de business. | Testarea cu tabele de decizie |
| Testarea tranzițiilor de stare | Testezi cum trece sistemul dintr-o stare în alta, de exemplu o comandă de la plătită la expediată. | Testarea tranzițiilor de stare |
| Testarea pe cazuri de utilizare | Testezi fluxuri complete ale utilizatorului, inclusiv alternativele și erorile. | Cazuri de utilizare și scenarii |
Punctul forte: testează ce le pasă de fapt utilizatorilor. Punctul slab: poate rata cod despre care specificația nu pomenește nimic, de exemplu un caz special ascuns.
Testarea white-box
Te uiți în interiorul cutiei. Ideile de test vin din codul însuși: condițiile, ramurile și drumurile lui.
O fac mai ales programatorii, în testele unitare, dar o folosesc și testerii care citesc cod, mai ales în automatizare și în testarea API.
Cele două măsuri de bază:
- Acoperirea instrucțiunilor (statement coverage): ce procent din liniile (instrucțiunile) de cod au fost executate de teste?
- Acoperirea ramurilor (branch coverage): ce procent din rezultatele deciziilor (atât ramura
true, cât și ramurafalsea fiecăruiif) au fost executate de teste?
Un exemplu mic:
function costLivrare(total) {
if (total >= 200) {
return 0; // livrare gratuită
}
return 15;
}
Un singur test cu total = 250 execută if-ul și return 0, dar nu ajunge niciodată la return 15. Asta înseamnă acoperire incompletă a instrucțiunilor. Adaugă un test cu total = 50 și ambele ramuri sunt acoperite: 100% acoperire a ramurilor.
Punctul forte: găsește cod pe care nu-l rulează niciun test și greșeli de logică în condiții. Punctul slab: nu poate găsi cod care lipsește. Dacă cerința spunea „livrare gratuită pentru studenți” și nimeni n-a scris codul, acoperirea n-are ce să măsoare.
Testarea bazată pe experiență
Ideile de test vin de la tester: pricepere, intuiție, cunoașterea produselor asemănătoare și a locurilor în care se ascund de obicei bug-urile.
Tehnicile principale:
- Ghicirea erorilor (error guessing): „Ce merge de obicei prost aici?” Câmpuri goale, click dublu, nume foarte lungi, butonul „Înapoi”, pierderea conexiunii în timpul plății.
- Testarea exploratorie: înveți, proiectezi și testezi în același timp, ghidat de un obiectiv (un charter).
- Testarea pe bază de checklist: o listă de lucruri de verificat, construită din experiență, de exemplu un checklist pentru fiecare formular nou.
Punctul forte: găsește bug-urile pentru care nu a scris nimeni o cerință. Punctul slab: depinde de experiența testerului și e mai greu de repetat exact.
Cele trei, față în față
| Black-box | White-box | Bazată pe experiență | |
|---|---|---|---|
| Ideile de test vin din | Cerințe, specificații | Structura codului | Cunoștințele testerului |
| Ai nevoie de acces la cod? | Nu | Da | Nu |
| Cine o folosește de obicei | Testeri, analiști de business | Programatori, testeri de automatizare | Testeri cu experiență |
| Găsește bine | Comportament greșit sau lipsă | Cod netestat, greșeli de logică | Probleme neașteptate, din lumea reală |
| Ratează | Drumuri ascunse prin cod | Funcționalități care lipsesc | Acoperirea sistematică |
O echipă testa o funcționalitate nouă de reduceri: „10% reducere la comenzile de 100 de lei sau mai mult; 20% pentru membrii programului de fidelitate.”
- Testele black-box pe limite, la 99,99, 100 și 100,01 lei, au găsit că exact 100 de lei nu primea reducere. Codul folosea
>în loc de>=. - Acoperirea white-box a arătat că o ramură nu rula niciodată: un caz special pentru comenzile plătite cu card cadou, pe care nu-l pomenise nimeni în cerințe. Un test pentru el a găsit că acele comenzi primeau reducerea de două ori.
- Ghicirea erorilor, din experiență („Ce se întâmplă dacă aplic reducerea și apoi scot un produs?”), a găsit că reducerea rămânea chiar și când totalul scădea la 60 de lei.
Lecția: fiecare familie a găsit un bug pe care celelalte l-au ratat. De aceea strategiile de testare bune le combină.
Așa da
Pornește de la cerințe (black-box), verifică acoperirea ca să găsești zonele oarbe (white-box), apoi explorează folosindu-ți experiența despre ce se strică de obicei.
Așa nu
Să te bazezi pe o singură familie. „Avem 90% acoperire a codului” și „am testat fiecare cerință” sunt, fiecare în parte, incomplete.
Verifică-te
O testeră fără acces la cod proiectează teste pentru un câmp de parolă: 7, 8 și 64 de caractere, plus câmpul gol. Apoi încearcă să lipească o parolă cu un spațiu la final, pentru că „asta a stricat ultima aplicație pe care am testat-o”. Ce familii folosește?
Arată răspunsul
Testele cu 7/8/64/gol sunt black-box (analiza valorilor-limită și partiționarea în clase de echivalență, pornind de la cerință). Încercarea cu spațiul de la final, din cauza unui bug din trecut, e bazată pe experiență (ghicirea erorilor). Nu folosește testare white-box, pentru că nu vede codul.
