De reținut
- Retestarea (numită și testare de confirmare) verifică faptul că un anumit bug a fost reparat, rulând pașii care l-au găsit.
- Testarea de regresie verifică faptul că o schimbare nu a stricat ceva ce mergea înainte.
- Orice schimbare are nevoie de amândouă. Suitele de regresie rulează iar și iar, așa că sunt primele candidate la automatizare.
Două întrebări după fiecare schimbare
Un programator repară un bug și ți-l trimite înapoi. Acum ai două întrebări:
- E bug-ul chiar reparat? Asta e retestarea.
- A stricat reparația altceva? Asta e testarea de regresie.
Începătorii fac adesea prima verificare și o uită pe a doua. Dar părțile unui software sunt legate între ele. O schimbare într-un loc poate strica ceva într-un loc care pare fără legătură.
Retestarea (testarea de confirmare)
Retestarea înseamnă să rulezi exact pașii care au scos la iveală bug-ul, pe noul build, ca să confirmi că a dispărut.
- Folosește aceleași date, același mediu și aceiași pași ca în raportul de bug.
- Dacă trece, închizi bug-ul. Dacă pică, îl redeschizi cu detalii.
- Se planifică pentru fiecare bug, așa că știi exact ce ai de rulat.
Testarea de regresie
O regresie apare când ceva ce mergea înainte nu mai merge după o schimbare. Testarea de regresie le caută.
Schimbări care pot produce regresii:
- Reparații de bug-uri și funcționalități noi.
- Actualizări de biblioteci, framework-uri sau sistem de operare.
- Schimbări de configurare și de infrastructură.
- Schimbări în baza de date și migrări de date.
O suită de regresie este setul de teste pe care îl rulezi ca să verifici că funcționalitățile existente merg în continuare. Crește în timp și se rulează iar și iar, de aceea echipele o automatizează.
Comparate
| Retestare | Testare de regresie | |
|---|---|---|
| Scop | Confirmi că un anumit bug e reparat | Confirmi că nu s-a stricat altceva |
| Ce teste | Pașii din raportul acelui bug | Teste pentru funcționalități existente, care mergeau |
| Când | După fiecare reparație | După orice schimbare: reparații, funcționalități, actualizări |
| Rezultat așteptat | Testul care pica acum trece | Testele care treceau trec în continuare |
| Automatizare | Adesea manuală | Candidată puternică la automatizare |
Când un test nu e repetat
Mars Polar Lander a fost pierdut în timpul încercării de aterizare, pe 3 decembrie 1999. Cauza cea mai probabilă, potrivit investigației: când s-au desfăcut picioarele de aterizare, senzorii din ele au dat un scurt semnal fals că modulul a atins solul.
Software-ul a acceptat semnalul și ar fi oprit motorul de coborâre prea devreme, la aproximativ 40 de metri deasupra suprafeței.
La testarea de sistem, senzorii de contact fuseseră conectați greșit, așa că testul nu putea scoate problema la iveală. Conexiunile au fost corectate, dar testul nu a mai fost repetat după aceea.
Lecția: când ceva se schimbă, testele care depind de acel lucru trebuie rulate din nou. Și o corectură a mediului de test este o schimbare.
Cum alegi ce testezi la regresie
Rareori ai timp să rulezi tot. Alege în funcție de risc:
- Pornește de lângă schimbare. Testează funcționalitățile care au cod, date sau ecrane comune cu ce s-a schimbat. Întreabă programatorul ce a atins.
- Adaugă fluxurile critice. Autentificare, checkout, plăți: fluxurile care trebuie să meargă mereu, după orice schimbare.
- Adaugă zonele care s-au mai stricat. Bug-urile tind să se adune în aceleași locuri.
- Automatizează ce se repetă. Dacă rulezi aceeași verificare de regresie la fiecare versiune, probabil ar trebui să fie un test automat.
Așa da
Să petreci câteva minute, după retestarea unei reparații, testând zona din jur: ecrane înrudite, date înrudite, aceeași funcționalitate pentru alt rol de utilizator.
Așa nu
Să închizi bug-ul imediat ce pașii inițiali trec. Reparația poate să fi mutat problema în altă parte.
Verifică-te
Un programator repară un bug în care codurile de reducere nu se aplicau produselor la ofertă. Ce retestezi și ce ai testa la regresie?
Arată răspunsul
Retestezi: aplici un cod de reducere unui produs la ofertă, cu pașii inițiali, și confirmi că reducerea se aplică. La regresie: coduri de reducere pe produse obișnuite, comenzi fără cod, coduri expirate, totaluri și taxe la checkout și facturi, pentru că toate depind de felul în care se calculează prețurile.
