De reținut
- Un smoke test este o verificare largă și superficială a funcțiilor principale ale unui build nou: e destul de stabil pentru testare mai departe?
- Un sanity test este o verificare îngustă a unei zone anume, după o schimbare mică sau o reparație: merge destul de bine ca să continuăm?
- Ambele sunt rapide și decid dacă merită să mergi mai departe. Niciunul nu înlocuiește testarea de regresie completă.
De ce contează verificările rapide
Imaginează-ți că îți petreci o dimineață pregătind date și rulând teste detaliate, doar ca să afli că pagina de autentificare e stricată în acest build. Fiecare test pică, iar dimineața e pierdută.
Verificările rapide, făcute la momentul potrivit, economisesc acest timp. Răspund la o singură întrebare: merită să testezi mai departe?
Testarea smoke
Un smoke test atinge pe scurt funcțiile cele mai importante, ca să vadă dacă build-ul funcționează în principiu.
Se spune adesea că numele vine din hardware: pornești dispozitivul prima dată și verifici că nu iese fum. Dacă iese, n-are rost să testezi altceva.
Verificări smoke tipice pentru un magazin online:
- Aplicația pornește și pagina principală se încarcă.
- Un utilizator se poate autentifica.
- Căutarea întoarce rezultate.
- Un produs poate fi adăugat în coș.
- Pagina de checkout se deschide.
E largă (multe zone) și superficială (o verificare rapidă pe zonă). Se mai numește build verification test și, de obicei, e automatizată și rulează la fiecare build nou.
Testarea sanity
Un sanity test e îngust și puțin mai profund. Se concentrează pe zona care tocmai s-a schimbat.
Un programator repară un bug la codurile de reducere. Înainte de a rula suita completă de regresie, un tester verifică rapid:
- Codul de reducere din raportul de bug funcționează acum.
- Încă două-trei coduri funcționează în continuare.
- Totalul și taxele arată corect cu reducerea aplicată.
Dacă asta pică, n-are rost să rulezi suita lungă de regresie. Build-ul se întoarce la programatori.
Comparate
| Smoke test | Sanity test | |
|---|---|---|
| Întrebarea | E build-ul destul de stabil ca să fie testat? | Merge schimbarea destul de bine ca să continuăm? |
| Acoperire | Largă: funcțiile principale | Îngustă: zona schimbată |
| Profunzime | Superficială | Puțin mai mare |
| Când | La fiecare build nou | După o schimbare mică sau o reparație |
| De obicei | Automatizat, scriptat | Adesea manual, rapid |
| Dacă pică | Build-ul e respins | Schimbarea se întoarce la programatori |
Unde se încadrează față de regresie
- Sosește un build nou. Smoke test: funcționează în principiu?
- Dacă trece, concentrează-te pe ce s-a schimbat. Sanity test (sau retestarea reparației).
- Dacă și asta trece, rulează suita de regresie mai largă și restul testării planificate.
Fiecare pas e o poartă. Verificările ieftine și rapide vin primele, ca testarea scumpă să nu fie irosită pe un build stricat.
O echipă primea un build nou în fiecare dimineață. Testerii își începeau imediat sesiunile de testare detaliată.
Într-o dimineață, trei testeri au petrecut două ore pe eșecuri la checkout, căutare și setările contului, înainte să descopere cauza reală: build-ul fusese instalat cu configurația greșită a bazei de date. Nimic n-ar fi putut funcționa.
Echipa a adăugat un smoke test automat cu opt verificări, rulat imediat după fiecare deploy. Dacă vreuna pica, build-ul era marcat ca nepregătit, iar testerii erau anunțați. Următoarea greșeală de configurare a fost prinsă în zece minute, înainte ca cineva să înceapă testarea.
Lecția: un smoke test scurt e o asigurare ieftină împotriva irosirii timpului tuturor pe un build stricat.
Așa da
Să păstrezi suita smoke mică și rapidă, de cel mult câteva minute, limitată la ce ar face inutilă testarea mai departe dacă ar fi stricat.
Așa nu
Să lași suita smoke să crească până devine o mini-suită de regresie lentă. Odată ce durează o oră, nu-și mai face treaba.
Verifică-te
Un hotfix schimbă felul în care se calculează costurile de livrare. Înainte de rularea completă a regresiei, petreci 10 minute verificând costurile de livrare pentru câteva comenzi. E testare smoke sau sanity?
Arată răspunsul
Testare sanity: o verificare rapidă și îngustă, concentrată pe zona schimbată, ca să decizi dacă merită rulată suita completă de regresie. Un smoke test ar verifica, în schimb, pe scurt funcțiile principale ale întregii aplicații.
