Testare Software

Parcurs: Expert · lecția 10 din 21

ExpertProiectarea testelor6 min de cititPublicat 12 noiembrie 2026

Testarea combinatorie la scară mare

Pairwise e doar începutul. Sistemele reale au zeci de parametri, constrângeri între ei și riscuri care cer acoperire 3-way sau mai mare. Iată cum modelezi spații mari de intrare, alegi nivelurile, tratezi constrângerile și măsori acoperirea testelor existente.

Pe această pagină

De reținut

  • Covering arrays (tablouri de acoperire) garantează că fiecare combinație de t valori apare cel puțin o dată. Mărimea lor crește aproximativ cu vᵗ × log k (valori, nivel, parametri), așa că și sistemele mari rămân abordabile la t = 2–4.
  • La scară mare, partea grea nu sunt algoritmii, ci modelarea parametrilor de intrare, constrângerile și alegerea nivelurilor mixte, după risc.
  • Poți și măsura acoperirea t-way a testelor pe care le ai deja, ca să completezi doar golurile, în loc să înlocuiești suitele cu totul.

De unde pornim

Articolul de nivel intermediar despre testarea pairwise și combinatorie a arătat de ce perechile prind majoritatea defectelor de interacțiune, cu un exemplu de 9 teste. Sistemele industriale sunt altfel: 30 de opțiuni de configurare, 15 feature flag-uri, 8 familii de browsere și dispozitive, 4 limbi, roluri de utilizator, stări ale datelor și reguli despre ce combinații sunt măcar posibile.

Covering arrays și cum cresc

Un covering array de nivel t pentru k parametri cu câte v valori este un set de N teste în care fiecare combinație de valori, pentru fiecare grup de t parametri, apare cel puțin o dată.

Ideea-cheie: N crește logaritmic cu numărul de parametri și exponențial cu nivelul. De exemplu, 20 de parametri cu câte 3 valori au aproximativ 3,5 miliarde de combinații exhaustive. Pairwise are nevoie doar de aproximativ 15–20 de teste; 3-way, de câteva zeci; 4-way, de câteva sute. Mărimile exacte depind de generator.

De aceea „câți parametri” e rareori problema. „Ce nivel, pentru ce parametri” e adevărata decizie.

Niveluri mixte: pune profunzimea acolo unde e riscul

Nu toți parametrii merită aceeași profunzime. Majoritatea generatoarelor suportă modele cu niveluri mixte:

  • 3-way sau 4-way între parametrii implicați în prețuri, permisiuni sau siguranță.
  • 2-way pentru tot restul.
  • Seed-uri: combinații obligatorii pe care le incluzi mereu, de exemplu cele mai frecvente cinci configurații reale din analytics sau combinații care au picat în trecut.

Cercetările NIST, inclusiv studiul din 2004 despre interacțiunile defectelor, sugerează că nivelul necesar pentru a prinde toate defecțiunile din sistemele studiate a fost cel mult șase. Pentru majoritatea software-ului de business, 2-way cu 3-way țintit e o bază solidă și accesibilă.

Modelarea parametrilor de intrare: adevărata muncă

Calitatea testării combinatorii depinde aproape în întregime de modelul datelor de intrare:

  1. Identifică parametrii din cerințe, fișiere de configurare, feature flag-uri, API-uri și medii, nu doar din câmpurile interfeței.
  2. Alege valorile cu partiționare în clase de echivalență și analiza valorilor-limită. Fiecare valoare ar trebui să reprezinte o clasă de comportament.
  3. Abstractizează cu grijă. „Mărimea comenzii” poate deveni goală / un produs / multe produse / maximum, nu fiecare număr.
  4. Scrie explicit constrângerile: combinațiile imposibile sau interzise.
  5. Analizează modelul cu programatorii și cu experții de domeniu înainte să generezi ceva.

Studiul de caz al NIST despre testarea combinatorie aplicată chiar uneltei ACTS a constatat că modelarea spațiului datelor de intrare poate fi un efort semnificativ, care trebuie gestionat atent. Experiența din industrie confirmă asta.

Constrângerile la scară mare

Modelele reale au multe reguli: „Safari doar pe macOS și iOS”, „plata pe factură doar pentru conturile de firmă”, „funcționalitatea B cere funcționalitatea A”.

  • Nu filtra după generare. Dacă generezi întâi și ștergi apoi rândurile invalide, pierzi acoperire, fără să-ți dai seama.
  • Declară constrângerile în generator, ca să construiască teste valide care acoperă în continuare fiecare combinație t-way validă.
  • Modelează separat combinațiile invalide: combinațiile interzise ar trebui respinse elegant. Testează-le ca pe un mic set separat de teste negative.

Măsurarea acoperirii pe care o ai deja

S-ar putea să ai deja sute de teste de configurare. În loc să renunți la ele, măsoară-le acoperirea combinatorie: ce procent din toate combinațiile valide 2-way și 3-way exersează? NIST oferă o unealtă gratuită pentru măsurarea acoperirii combinatorii.

Apoi generează teste doar pentru combinațiile lipsă. Așa, testarea combinatorie devine o îmbunătățire incrementală, nu o înlocuire dintr-o dată.

Secvențe și timp

Ideile combinatorii se aplică și ordinii: dacă un sistem are evenimentele A–F, care pot apărea în orice ordine, un sequence covering array se asigură că fiecare ordine de t evenimente (A înainte de C, înainte de E și așa mai departe) apare într-un test. E util pentru pornirea dispozitivelor, pașii de instalare și fluxurile asincrone.

Exemplu real · Lockheed Martin și NISTUn pilot industrial cu NIST

Lockheed Martin și NIST au derulat un pilot de doi ani, printr-un acord de cercetare în cooperare, ca să evalueze testarea combinatorie într-un mediu industrial real, cu cerințe software complexe.

Compania a folosit unealta ACTS a NIST, completată de alte unelte combinatorii, în opt proiecte pilot. Potrivit NIST și declarațiilor publice ale Lockheed Martin despre pilot, rezultatele au inclus îmbunătățiri ale acoperirii testelor și potențiale economii de costuri, de până la aproximativ 50% în unele proiecte. Compania a spus că plănuiește să extindă tehnica.

Lecția: într-o organizație cu sisteme complexe, metodele combinatorii au adus beneficii măsurabile, odată ce echipele au investit în modelarea bună a datelor de intrare și a constrângerilor.

Rularea în CI

  • Generează determinist, cu un seed fix, ca rulările să fie reproductibile, iar diferențele dintre versiunile modelului să poată fi analizate.
  • Rotește: dacă un array 3-way complet e prea mare pentru fiecare pull request, rulează 2-way la fiecare schimbare și array-ul 3-way noaptea.
  • Leagă rândurile de medii: rândurile de configurare pot controla automat containere, seturi de feature flag-uri sau sesiuni într-un device cloud.
  • Urmărește schimbările modelului: un parametru sau o valoare nouă ar trebui să declanșeze regenerarea și un raport de acoperire, ca orice altă schimbare de cod.

Așa da

Să pui cea mai mare parte a efortului în modelul datelor de intrare, în valorile, constrângerile și nivelurile lui, și să-l analizezi cu oamenii care cunosc sistemul.

Așa nu

Să bagi într-un generator fiecare câmp și fiecare valoare posibilă, fără nicio analiză. Vei obține un covering array perfect matematic pentru un model fără sens.

Verifică-te

Cele 400 de teste de configurare existente au fost scrise manual, de-a lungul anilor. Managementul vrea testare combinatorie. Ce ai face mai întâi?

Arată răspunsul

Ai măsura acoperirea combinatorie a suitei existente față de un model al datelor de intrare analizat: ce parte din combinațiile valide 2-way și 3-way acoperă deja. Apoi ai genera teste doar pentru goluri și ai elimina testele care nu aduc nicio combinație nouă. Așa păstrezi testele dovedite, arăți valoarea în cifre și eviți o rescriere riscantă, dintr-o dată.