De reținut
- Shift left: muți testarea mai devreme: review-uri, exemple, analiză statică și teste automate rapide, ca bug-urile să fie prevenite sau prinse când sunt cel mai ieftine.
- Shift right: continui testarea în timpul și după lansare: lansări treptate, feature flag-uri, monitorizare și experimente, pentru că unele probleme apar doar cu utilizatori, date și volum reale.
- Nu sunt alternative. Shift left reduce numărul problemelor care ajung în producție; shift right limitează pagubele celor care tot ajung.
De unde pornim
Știi că testarea își are locul în fiecare etapă a ciclului de viață. „Shift left” și „shift right” sunt numele a două direcții ale acestei idei, pe o axă a timpului desenată de la stânga (ideea) la dreapta (producția).
Shift left: găsește mai devreme
Practici care mută testarea spre început:
| Practică | Ce prinde devreme |
|---|---|
| Review-ul cerințelor și al designului | Ambiguități, contradicții, cazuri lipsă |
| Three amigos și example mapping | Neînțelegeri între business, dezvoltare și testare |
| Criterii de acceptare ca exemple (BDD) | Dezacorduri despre ce înseamnă „gata” |
| Analiză statică și linting | Clase întregi de greșeli de cod, înainte să ruleze ceva |
| Teste unitare și test-driven development | Greșeli de logică, la câteva minute după ce au fost scrise |
| Teste la fiecare pull request | Regresii înainte de merge |
| Teste de contract între servicii | Integrări stricate înainte de deploy |
Rolul testerului se schimbă aici: mai puțin „testare la final”, mai mult întrebări puse devreme, ajutor dat altora să testeze și teste proiectate înainte să existe cod.
Shift right: învață din producție, în siguranță
Unele probleme nu pot fi găsite înainte de lansare: tipare reale de trafic, date reale, dispozitive rare și combinații pe care nu le-a prevăzut nimeni. Shift right înseamnă să planifici pentru asta, în loc să speri.
| Practică | Ce face |
|---|---|
| Lansări canary | Lansezi întâi pentru un grup mic (1%, apoi 10%, apoi toată lumea), urmărind problemele la fiecare pas |
| Feature flag-uri | Faci deploy cu codul dezactivat, apoi îl activezi pentru unii utilizatori; îl dezactivezi instant dacă ceva merge prost |
| Monitorizare și alerte | Urmărești în timp real ratele de eroare, timpii de răspuns și indicatorii de business (comenzi pe minut). Vezi Observabilitatea ca instrument de testare |
| Monitorizare sintetică | Verificări automate care rulează pe producție la câteva minute, ca un client-robot |
| Teste A/B și programe beta | Afli cum răspund utilizatorii reali înainte de lansarea completă |
| Chaos engineering | Provoci intenționat defecțiuni, de exemplu oprești servere, ca să verifici că sistemul își revine. Chaos Monkey de la Netflix e cel mai cunoscut exemplu. Vezi Chaos engineering |
De ce ai nevoie de amândouă
Pe 19 iulie 2024, compania de securitate CrowdStrike a trimis o actualizare de conținut pentru software-ul său Falcon pentru Windows. Actualizarea conținea un defect pe care verificările de validare nu l-au detectat. Când calculatoarele o încărcau, se blocau și se blocau din nou la repornire.
Actualizarea a ajuns într-un interval scurt la toate calculatoarele Windows online care rulau senzorul. Microsoft a estimat că au fost afectate aproximativ 8,5 milioane de dispozitive Windows. Companii aeriene, spitale, bănci și televiziuni din toată lumea au fost perturbate.
În analiza sa, CrowdStrike s-a angajat la mai multă testare înainte de lansare, inclusiv teste de stres, fuzzing și teste de rollback. S-a angajat și la lansări eșalonate, începând cu un grup canary mic, și la a le oferi clienților mai mult control asupra momentului în care primesc actualizările.
Lecția: mai multă testare înainte de lansare (shift left) ar fi redus șansa defectului. O lansare treptată (shift right) i-ar fi limitat efectul la un grup mic, unde monitorizarea l-ar fi putut prinde.
Ce fac testerii în partea dreaptă
- Definesc cum arată „sănătos” pentru o lansare: ce indicatori, ce praguri declanșează un rollback.
- Scriu verificări sintetice pentru parcursurile critice și le rulează pe producție.
- Urmăresc grupul canary: compară erorile și comportamentul dintre grupul canary și restul utilizatorilor.
- Testează calea înapoi: și rollback-urile, și comutarea feature flag-urilor au nevoie de testare. Un rollback pe care nu l-a încercat nimeni s-ar putea să nu funcționeze.
- Aduc producția înapoi în testare: fiecare incident devine un test nou, un risc nou în registru sau un monitor nou.
- Înainte de lansare: stabiliți indicatorii, pragurile și planul de rollback.
- Lansează pentru un grup mic și urmărește indicatorii stabiliți.
- Extinde pas cu pas, doar dacă indicatorii rămân sănătoși.
- Fă rollback repede dacă nu rămân și investighează după aceea.
- Învață: adaugă teste și monitoare pentru ce ai găsit.
Așa da
Să tratezi dashboard-urile de monitorizare și alertele ca parte din planul de testare. Analizează-le înainte de lansare, la fel ca pe cazurile de test.
Așa nu
Să folosești „o să monitorizăm în producție” ca motiv să sari peste testare înainte de lansare. Shift right adaugă o plasă de siguranță; nu înlocuiește verificările de dinainte.
Verifică-te
Echipa ta vrea să lanseze un nou motor de recomandări. Nu poate fi testat complet înainte de lansare, pentru că calitatea lui depinde de comportamentul utilizatorilor reali. Ce practici shift right ai propune?
Arată răspunsul
Lansează-l în spatele unui feature flag, întâi pentru un grup canary mic sau ca test A/B față de motorul vechi. Stabilește dinainte indicatorii: rata de erori, timpul de răspuns, rata de click și comenzile. Urmărește-i, extinde treptat dacă sunt sănătoși și păstrează o cale testată de a-l dezactiva instant. Verificările shift left rămân valabile, de exemplu teste unitare și de API pentru logica lui.
