De reținut
- În testarea bazată pe modele (MBT, model-based testing), testerii construiesc un model explicit al comportamentului așteptat, precum o mașină de stări, un flux de lucru sau o gramatică, iar o unealtă generează teste din el, după un criteriu de acoperire.
- Modelul e în același timp generator de teste și oracol: prezice ce ar trebui să facă sistemul la fiecare pas. Schimbările de comportament se fac o singură dată, în model, nu în sute de scripturi.
- Se plătește pentru sistemele complexe, cu viață lungă și bogate în comportament, precum protocoale, fluxuri de lucru și control embedded. Costă competențe de modelare și întreținerea modelului și găsește doar ce poate exprima modelul.
De unde pornim
Testarea tranzițiilor de stare folosește deja un model: desenezi stările și deduci testele manual. MBT face modelul citibil de mașină și lasă uneltele să facă deducția, la o scară și cu o rigoare pe care deducția manuală nu le poate atinge.
Cum funcționează
- Modelezi comportamentul așteptat la un nivel de abstractizare ales: stări, acțiuni, condiții de gardă, rezultate așteptate.
- Alegi un criteriu de acoperire pe model: toate stările, toate tranzițiile, toate perechile de tranziții, anumite etichete de cerințe sau parcurgeri aleatoare cu o condiție de oprire.
- Generezi cazuri de test abstracte: drumuri prin model, cu rezultate așteptate.
- Adaptezi: un strat adaptor traduce acțiunile abstracte („autentificare ca administrator”) în apeluri concrete către sistem (click-uri în UI, cereri de API).
- Execuți și compari răspunsurile reale ale sistemului cu predicțiile modelului.
- Analizezi eșecurile: un bug în sistem, în model sau în adaptor.
Offline vs. online
- MBT offline generează întâi o suită de teste, apoi o rulează ca pe orice teste automate. E ușor de analizat și de repetat.
- MBT online (din mers) generează pasul următor în timpul rulării, pe baza răspunsurilor reale ale sistemului. E bun pentru sistemele nedeterministe și pentru parcurgeri aleatoare lungi.
Ce poate fi un model
| Tip de model | Bun pentru | Unelte-exemplu |
|---|---|---|
| Mașini de stări / grafuri | Fluxuri de lucru, interfețe, protocoale, dispozitive | GraphWalker, AltWalker |
| Specificații executabile | Logică bogată, cu date | Modele scrise în cod, în limbajul testelor; testare cu stare bazată pe proprietăți |
| Modele de proces (BPMN, diagrame de activitate) | Procese de business | Diverse unelte MBT comerciale |
| Tabele de decizie | Logică bogată în reguli | Generatoare bazate pe tabele |
| Gramatici | Parsere, formate de fișiere, protocoale | Fuzzere bazate pe gramatici |
Testarea cu stare bazată pe proprietăți este MBT scris în cod: modelul e un program mic, iar generatorul explorează secvențe aleatoare de comenzi.
Decizia de abstractizare
Cea mai importantă alegere de design e ce lași pe dinafară. Un model al unei aplicații bancare poate include „sold pozitiv / zero / negativ”, dar nu suma exactă; „autentificat ca client / administrator”, dar nu fiecare permisiune.
- Prea detaliat, și modelul devine o a doua implementare: scump și plin de aceleași bug-uri.
- Prea abstract, și nu poate prezice rezultatele suficient de precis încât să prindă defectele reale.
Modelele bune surprind ce contează pentru business și riscurile pe care vrei să le explorezi.
Începând din 2002, ca parte a angajamentelor față de autoritățile de reglementare, Microsoft a trebuit să documenteze și să verifice protocoalele de comunicare folosite de Windows, ca alți producători să poată construi software compatibil. Rezultatul a fost un volum foarte mare de documentație tehnică: peste 250 de documente și circa 30.000 de pagini, potrivit unui articol din 2011 din Communications of the ACM, semnat de Wolfgang Grieskamp, Nicolas Kicillof și colegii lor.
Documentele trebuiau să corespundă exact comportamentului real al Windows. Echipa a făcut din testarea bazată pe modele, cu unealta Microsoft Spec Explorer, un pilon al procesului de asigurare a calității. Testerii au scris modele pornind de la documentație, au generat teste și le-au rulat pe implementările reale, așa că orice nepotrivire scotea la iveală o eroare fie în documentație, fie în software.
Lecția: când produsul este chiar specificația, un model construit din ea și testat față de realitate e una dintre puținele abordări care scalează.
Când se plătește MBT
Se potrivește bine:
- Sisteme cu viață lungă, al căror comportament se schimbă des: actualizezi modelul și regenerezi testele.
- Comportament bogat în stări și secvențe, precum protocoale, dispozitive, fluxuri de lucru și API-uri cu stare.
- Standarde și specificații care trebuie verificate temeinic.
- Echipe care au atât cunoașterea domeniului, cât și ceva competențe de programare.
Se potrivește prost:
- Ecrane CRUD simple și proiecte punctuale.
- Comportament greu de abstractizat, precum aspectul vizual.
- Echipe fără timp să învețe modelarea; un model întreținut prost e mai rău decât scripturile simple.
Cum o adopți
- Fă un pilot pe o zonă cu risc mare și cu stare, precum ciclul de viață al comenzilor, un protocol de plată sau comutarea modurilor unui dispozitiv.
- Modelează împreună cu programatorii și cu product ownerii. Dezacordurile despre model sunt bug-uri timpurii.
- Păstrează adaptorul subțire și stabil; cele mai multe schimbări ar trebui să aibă loc în model.
- Versionează modelul împreună cu codul și analizează schimbările de model ca pe cod.
- Măsoară defectele găsite, efortul de întreținere și acoperirea, comparativ cu abordarea anterioară, înainte să extinzi.
Așa da
Să tratezi modelul ca pe o specificație comună: analizează-l cu echipa, versionează-l și păstrează-l atât de mic cât permit riscurile.
Așa nu
Să modelezi fiecare detaliu al implementării. Vei construi un al doilea sistem, care trebuie depanat și întreținut alături de primul.
Verifică-te
Un test generat pică: modelul prezice „starea comenzii = Expediată”, dar sistemul spune „Ambalată”. Care sunt cele trei explicații posibile și cum decizi?
Arată răspunsul
Sistemul greșește (un bug real), modelul greșește (a înțeles greșit cerința sau cerința s-a schimbat) sau adaptorul greșește (a tradus greșit acțiunea sau răspunsul). Verifică cerința sau roagă product ownerul să decidă între sistem și model și analizează log-urile adaptorului ca să excluzi o eroare de traducere.
