De reținut
- Testarea tuturor combinațiilor de parametri devine repede imposibilă: 4 parametri cu câte 3 valori fac deja 81 de combinații.
- Testarea pairwise (pe perechi) garantează că fiecare pereche de valori apare în cel puțin un test, de obicei cu o mică parte din teste.
- Funcționează pentru că majoritatea defecțiunilor sunt declanșate de unul sau doi factori care interacționează. Pentru sistemele cu risc mare, treci la combinații 3-way (de câte trei).
De unde pornim
În Partiționare în clase de echivalență și valori-limită: dincolo de elementele de bază ai întâlnit acoperirea fiecărei opțiuni: fiecare valoare apare cel puțin o dată. E ieftină, dar nu poate găsi un bug care apare doar când se întâlnesc două valori anume, de exemplu Safari și PayPal.
Testarea tuturor combinațiilor le găsește, dar nu scalează. Testarea pairwise stă la mijloc.
Explozia
O pagină de checkout variază după:
| Parametru | Valori |
|---|---|
| Browser | Chrome, Firefox, Safari |
| Plată | Card, PayPal, Transfer bancar |
| Limbă | Engleză, Română |
| Utilizator | Vizitator, Membru |
Toate combinațiile: 3 × 3 × 2 × 2 = 36 de teste. Mai adaugi tipul de dispozitiv și moneda și ajungi la sute. Sistemele reale au zeci de parametri.
De ce perechile sunt de obicei suficiente
Cercetători de la Institutul Național de Standarde și Tehnologie al SUA (NIST) au studiat defecțiunile din software real, ca să vadă câți factori trebuiau să se combine pentru a declanșa fiecare defecțiune.
Într-un articol din 2004, Richard Kuhn, Dolores Wallace și Albert Gallo au analizat date despre defecțiunile mai multor sisteme software reale. Au întrebat: pentru fiecare defecțiune, câți parametri trebuiau să aibă simultan anumite valori?
Majoritatea defecțiunilor erau declanșate de unul sau doi parametri. Mai puține aveau nevoie de trei, și mai puține de patru, iar în datele lor niciuna nu avea nevoie de mai mult de șase.
Lecția: nu ai nevoie de toate combinațiile ca să găsești majoritatea bug-urilor. Acoperirea tuturor perechilor prinde marea majoritate; acoperirea tuturor tripletelor prinde și mai multe. Pe asta se bazează testarea pairwise și cea combinatorie.
Un set de teste pairwise
Pentru checkout, aceste 9 teste acoperă fiecare pereche de valori: fiecare browser cu fiecare metodă de plată, fiecare limbă cu fiecare tip de utilizator și așa mai departe:
| # | Browser | Plată | Limbă | Utilizator |
|---|---|---|---|---|
| 1 | Chrome | Card | Engleză | Vizitator |
| 2 | Chrome | PayPal | Română | Membru |
| 3 | Chrome | Transfer bancar | Engleză | Membru |
| 4 | Firefox | Card | Română | Vizitator |
| 5 | Firefox | PayPal | Engleză | Vizitator |
| 6 | Firefox | Transfer bancar | Română | Membru |
| 7 | Safari | Card | Engleză | Membru |
| 8 | Safari | PayPal | Română | Vizitator |
| 9 | Safari | Transfer bancar | Engleză | Vizitator |
Nouă teste în loc de 36. Verifică orice pereche, de exemplu Safari + PayPal, Română + Vizitator, Transfer bancar + Membru, și o vei găsi în cel puțin un rând.
Folosește o unealtă
Construirea manuală a seturilor pairwise merge pentru exemple mici. Pentru cele reale, folosește un generator:
- PICT, o unealtă gratuită, open-source, în linie de comandă, de la Microsoft.
- ACTS, unealta gratuită de testare combinatorie a NIST, care suportă și niveluri mai mari, precum 3-way.
- Multe unelte de management al testării au o funcție pairwise inclusă.
Enumeri parametrii și valorile; unealta generează rândurile.
Constrângeri: combinații imposibile
Parametrii reali au reguli. Safari pe Windows nu există. Poate că transferul bancar nu e oferit vizitatorilor.
Dacă ignori constrângerile, generatorul produce rânduri pe care nu le poți rula. Apoi le ștergi și pierzi perechile pe care le acopereau. În schimb, declară constrângerile în unealtă, ca să construiască un set valid, care acoperă în continuare fiecare pereche posibilă.
Când perechile nu sunt suficiente
Pentru modele mari, constrângeri și măsurarea acoperirii suitelor existente, vezi Testarea combinatorie la scară mare.
- Un nivel mai mare. Pentru sisteme critice pentru siguranță, financiare sau foarte configurabile, folosește 3-way (toate tripletele) pe parametrii cei mai riscanți. Testele cresc, dar rămân mult sub toate combinațiile.
- Interacțiuni cunoscute. Dacă o regulă combină explicit trei condiții, folosește un tabel de decizie pentru acea regulă. Pairwise e pentru parametrii care n-ar trebui să interacționeze, ca să verifici că chiar nu interacționează.
- Valorile tot trebuie alese. Pairwise alege combinații din valorile pe care i le dai. Folosește întâi partiții și valori-limită ca să alegi valori bune.
Așa da
Să folosești pairwise pentru testarea configurațiilor: browsere, dispozitive, setări, feature flag-uri, limbi. Adaugă câteva combinații alese de mână pentru configurațiile cele mai des întâlnite în realitate.
Așa nu
Să folosești pairwise ca scuză ca să sari peste analiză. Dacă doi parametri trebuie să interacționeze, modelează direct acea regulă în loc să speri că o pereche o acoperă.
Verifică-te
Doi parametri au câte 4 valori, iar trei parametri au câte 2 valori. Câte teste ar cere toate combinațiile și care e cel mai mic număr posibil pentru pairwise?
Arată răspunsul
Toate combinațiile: 4 × 4 × 2 × 2 × 2 = 128 de teste. Pairwise are nevoie de cel puțin 4 × 4 = 16 (produsul celor mai mari doi parametri), iar o unealtă bună se va apropia de obicei de acest număr.
