De reținut
- Sistemele reale au nevoie de mașini de stări extinse (variabile, condiții de gardă), de stări ierarhice și paralele și de timp. Diagramele plate fie explodează ca mărime, fie ascund comportamentul important.
- Criteriile de acoperire formează o scară: toate stările → toate tranzițiile → perechi de tranziții (1-switch) și secvențe mai lungi → sneak paths (evenimente invalide în fiecare stare) → metode de conformitate, precum metoda W, care detectează și stările-țintă greșite.
- Cele mai periculoase tranziții sunt adesea pe drumurile de eroare, recuperare și repornire, cu evenimente care sosesc în momente nepotrivite. Testează-le intenționat.
De unde pornim
Testarea tranzițiilor de stare acoperă stările, evenimentele, tabelele de stări și distincția valid/invalid. Articolul acesta e despre sistemele la care modelul simplu nu mai ajunge: protocoale, dispozitive, fluxuri distribuite și orice trebuie să-și revină după o defecțiune.
Modele mai bogate
Mașini de stări extinse
Adaugi variabile și condiții de gardă: „Blocat dacă încercăriEșuate ≥ 3”, „Expediată doar dacă toate produsele sunt ambalate”. Acum starea nu mai e doar căsuța în care te afli; e căsuța plus variabilele. Testează condițiile de gardă cu valori-limită (2, 3 și 4 încercări eșuate) și testează actualizarea variabilelor la fiecare tranziție.
Stări ierarhice și paralele (statecharts)
Statecharts-urile lui David Harel (1987) permit ca o stare să conțină sub-stări și ca regiuni independente să ruleze în paralel: un player media poate fi Redare / Pauză, iar în paralel Online / Offline. Ierarhia păstrează modelele mici. Dar aduce întrebări noi:
- În ce sub-stare revii după ce ieși dintr-o stare părinte? Statecharts-urile folosesc pentru asta stări de istoric (history). Testează atât „prima intrare”, cât și „reintrarea”.
- Când un eveniment e tratat și de o sub-stare, și de părintele ei, care câștigă?
- Pot evenimentele dintr-o regiune paralelă să încalce invarianții din cealaltă?
Timpul
Timeout-urile, reîncercările și tranzițiile programate („expiră după 15 minute”) sunt și ele tranziții. Testează-le exact la timeout, imediat înainte și imediat după, folosind în teste ceasuri controlabile, nu așteptare reală.
O scară a criteriilor de acoperire
| Criteriu | Cere | Găsește de obicei |
|---|---|---|
| Toate stările | Vizitarea fiecărei stări | Stări inaccesibile sau care dau crash |
| Toate tranzițiile (0-switch) | Declanșarea fiecărei tranziții valide | Tranziții individuale lipsă sau greșite |
| Perechi de tranziții (1-switch) și N-switch | Fiecare secvență de 2 (sau N+1) tranziții consecutive | Defecte care depind de istoric: „plătește, anulează, plătește din nou” |
| Sneak paths / toate evenimentele în toate stările | Încercarea fiecărui eveniment în fiecare stare | Condiții de gardă lipsă; acțiuni care ar trebui refuzate |
| Drumuri dus-întors (round-trip paths) | Fiecare drum dintr-o stare înapoi în ea sau într-o stare finală | Defecte în bucle și cicluri |
| Metode de conformitate (de exemplu, metoda W) | Acoperirea tranzițiilor plus secvențe care identifică starea rezultată | Tranziții care duc în starea greșită, deși rezultatele par corecte |
De ce contează identificarea stărilor
Multe defecte de stare nu produc imediat un rezultat vizibil greșit. Sistemul ajunge pur și simplu în starea greșită și se comportă greșit mai târziu. Metodele de testare a conformității din ingineria protocoalelor, precum metoda W a lui Tsun Chow (1978), adaugă după fiecare tranziție secvențe de distingere: secvențe scurte de evenimente ale căror rezultate diferă în funcție de stare, dovedind că sistemul a ajuns unde trebuia.
Practic: după fiecare tranziție, verifică starea, printr-un API, o interogare sau o scurtă secvență de verificare, nu doar rezultatul tranziției.
Explozia stărilor și cum o gestionezi
Un sistem cu 10 componente independente cu câte două stări are 1.024 de stări combinate. Tehnici care îl țin gestionabil:
- Modelează pe preocupări (ciclul de viață al comenzii, starea plății, starea livrării) și testează separat interacțiunile dintre ele.
- Abstractizează variabilele în partiții (sold: negativ / zero / pozitiv).
- Folosește generatoare: testele bazate pe modele și testele cu stare bazate pe proprietăți explorează drumuri aleatoare lungi.
- Prioritizează după risc: acoperire completă a sneak paths pentru stările legate de bani și siguranță, acoperirea tranzițiilor în rest.
Stările de eroare, recuperare și repornire
Sistemele petrec puțin timp în recuperare, iar testele și mai puțin. Dar în recuperare se întâmplă că:
- evenimentele sosesc în timp ce sistemul e pe jumătate repornit;
- starea persistată pe disc nu se potrivește cu starea din memorie;
- vecinii reacționează la mesajele componentei care își revine.
Pe 15 ianuarie 1990, una dintre centralele interurbane 4ESS ale AT&T din New York a avut o problemă hardware minoră și a trecut prin rutina normală de recuperare. Când și-a revenit, a trimis mesaje centralelor vecine.
O schimbare de software instalată în decembrie în toate aceste centrale conținea un defect. Când o centrală primea astfel de mesaje într-un anumit moment al propriei procesări, cădea și intra și ea în recuperare, apoi trimitea același tip de mesaje către vecinii ei. Defecțiunea s-a propagat în cascadă prin rețea.
Timp de aproximativ nouă ore, o mare parte din rețeaua interurbană AT&T a fost grav perturbată, iar zeci de milioane de apeluri nu au putut fi efectuate. Inginerii au găsit defectul în actualizarea recentă și l-au corectat.
Lecția: comportamentul defect trăia pe un drum de recuperare, declanșat de un eveniment care sosea într-o anumită stare și la un anumit moment. Acoperirea tranzițiilor din funcționarea normală nu l-ar fi găsit. Testarea evenimentelor în timpul recuperării, a secvențelor și a sincronizării l-ar fi găsit.
Testarea intenționată a drumurilor de recuperare
- Modelează explicit stările de eroare: Recuperare, Degradat, DoarCitire, Repornire. Nu le lăsa ca simple „excepții”.
- Injectează evenimente în fiecare stare de eroare: cereri noi, mesaje duplicate, mesaje de la vecini, o a doua defecțiune.
- Repornește în fiecare stare, inclusiv la jumătatea unei tranziții, și verifică apoi starea persistată față de cea din memorie.
- Controlează timpul ca să atingi exact timeout-urile și reîncercările.
- Testează interacțiunile dintre instanțe: ce se întâmplă cu celelalte în timp ce una își revine?
Așa da
Să verifici, după fiecare tranziție dintr-un test, starea rezultată printr-o verificare independentă, nu doar răspunsul acțiunii care a provocat-o.
Așa nu
Să te oprești la „fiecare tranziție a fost declanșată o dată pe fluxul fericit”. Ratezi defectele care depind de istoric, de sincronizare și de drumurile de recuperare, adică pe cele scumpe.
Verifică-te
Un sistem de abonamente are stările Trial, Activ, Restant și Anulat. Webhook-urile de plată pot sosi cu întârziere sau de două ori. Ce teste avansate de stare ai adăuga?
Arată răspunsul
De exemplu: sneak paths, precum un eveniment „plată reușită” în starea Anulat sau un al doilea eveniment identic în Activ; secvențe 1-switch, precum Restant → Activ → Restant în succesiune rapidă; evenimente întârziate, precum plata unei facturi vechi care sosește după anulare; sincronizare, precum o reîncercare exact la limita perioadei de grație; și, după fiecare pas, o verificare independentă a stării rezultate și a înregistrărilor de facturare.
