De reținut
- CI (integrarea continuă) unește și testează des fiecare schimbare. CD (livrarea sau deploy-ul continuu) ține fiecare schimbare testată pregătită de lansare sau o lansează automat.
- Testarea continuă pune verificări automate la fiecare etapă a pipeline-ului, astfel încât fiecare schimbare primește feedback rapid despre riscul ei.
- Un pipeline verifică doar ce îi ceri. Include verificări nefuncționale, păstrează-l rapid și de încredere și repară testele instabile, altfel oamenii vor învăța să-l ignore.
De unde pornim
Știi de ce testarea de regresie are nevoie de automatizare și în ce straturi își au locul testele. CI/CD e locul unde aceste teste chiar rulează, la fiecare schimbare, de multe ori pe zi.
Termenii
- Integrarea continuă (CI): programatorii unesc des schimbări mici în ramura principală, cel puțin zilnic. Fiecare merge declanșează automat un build și teste.
- Livrarea continuă (continuous delivery): fiecare schimbare care trece de pipeline e pregătită de lansare. Un om decide când.
- Deploy-ul continuu (continuous deployment): fiecare schimbare care trece de pipeline este lansată automat.
- Testarea continuă: rularea testelor automate ca parte din pipeline, ca să obții feedback imediat despre riscul de business al fiecărei schimbări.
Ce rulează și unde
| Etapă | Verificări tipice | Scop |
|---|---|---|
| Înainte de commit (calculatorul programatorului) | Linting, formatare, teste unitare rapide | Prinzi greșelile în câteva secunde |
| Pull request | Build, analiză statică, teste unitare, de API și de contract, scanarea de securitate a dependențelor | Blochezi schimbările proaste înainte de merge |
| După merge | Teste de integrare, teste smoke end-to-end într-un mediu de test | Verifici că bucățile merg împreună |
| Înainte de lansare | End-to-end mai larg, performanță, verificări de accesibilitate | Încredere pentru această versiune |
| După lansare | Monitorizare sintetică, indicatori canary, rollback automat | Prinzi ce testarea n-a putut prinde |
Quality gate-uri
Un quality gate este o regulă care oprește pipeline-ul când o condiție nu e îndeplinită. Gate-uri utile:
- Toate testele trec. Fără excepții, fără „eșecuri cunoscute” lăsate pe loc.
- Nicio problemă critică nouă din analiza statică sau din scanările de securitate.
- Nicio dependență cu vulnerabilități critice cunoscute.
- Buget de performanță: paginile sau endpoint-urile importante nu sunt mai lente decât o limită agreată.
- Verificările de accesibilitate trec pe paginile modificate.
Cum păstrezi pipeline-ul de încredere
Viteza
Dacă pipeline-ul pentru pull request durează 50 de minute, programatorii nu-l mai așteaptă. Păstrează-l rapid:
- Rulează testele în paralel.
- Mută suitele lente în etapele de mai târziu.
- Rulează doar testele afectate de o schimbare, acolo unde uneltele permit (test impact analysis).
- Coboară verificările în piramida testelor.
Stabilitatea
Un test care pică la întâmplare e mai rău decât niciun test: îi învață pe oameni să reruleze în loc să citească. Urmărește testele instabile, pune-le în carantină, în afara drumului care blochează, repară-le repede și șterge-le dacă nu pot fi reparate.
O ramură principală verde
Stabiliți o regulă: dacă ramura principală e stricată, repararea ei e prima prioritate a tuturor sau schimbarea e anulată. Un pipeline roșu jumătate din timp nu-ți mai poate spune nimic.
Medii și date
Testele au nevoie de medii care seamănă cu producția și de date pe care le controlează. Multe echipe creează un mediu temporar pentru fiecare pull request și generează automat datele de test, ca testele să nu depindă unele de altele sau de un server de test comun și dezordonat.
Ce fac testerii în CI/CD
- Decid ce verificări merg unde, după risc și viteză.
- Scriu și întrețin teste automate, mai ales de API și parcursuri end-to-end.
- Investighează eșecurile și separă bug-urile reale de problemele de test sau de mediu.
- Urmăresc sănătatea pipeline-ului: durata, rata de instabilitate, cât de des sunt ocolite gate-urile.
- Continuă să exploreze. Pipeline-ul acoperă riscurile cunoscute. Testarea exploratorie le găsește pe cele pentru care nu a scris încă nimeni un test.
Pe 2 iulie 2019, Cloudflare a lansat o regulă nouă pentru firewall-ul său de aplicații web. Regula conținea o expresie regulată care, pe trafic real, producea un backtracking enorm și ducea consumul de procesor la 100% pe serverele din toată rețeaua globală.
Testele Cloudflare verificaseră că regula funcționa: detecta ce trebuia să detecteze. Nu verificaseră cât procesor folosea. În plus, regulile de firewall erau lansate global, toate deodată, intenționat, ca să se poată răspunde rapid la atacuri noi.
Serviciile Cloudflare au fost căzute aproximativ 27 de minute. În analiza publică a incidentului, compania s-a angajat să adauge în suita de teste profilarea performanței pentru toate regulile, să treacă la un motor de expresii regulate cu garanții de timp de execuție și să lanseze treptat schimbările de reguli.
Lecția: un pipeline verifică ce îi ceri. Testele funcționale au trecut; verificarea care lipsea era nefuncțională. Iar o lansare treptată ar fi limitat pagubele cât timp monitorizarea ar fi prins problema.
Așa da
Să adaugi în pipeline o verificare de performanță sau de resurse pentru schimbările care rulează la fiecare cerere, precum reguli, middleware sau interogări în baza de date, chiar și un simplu buget de timp.
Așa nu
Să rerulezi un pipeline care pică până iese verde, fără să te uiți de ce a picat. Așa trec mai departe eșecurile reale.
Verifică-te
Pipeline-ul pentru pull request durează 50 de minute, așa că programatorii fac merge înainte să se termine. Ce ai face?
Arată răspunsul
Faci rapidă etapa care blochează: paralelizezi testele, muți suitele lente, end-to-end și de performanță, în etapa de după merge sau în rularea de noapte, cobori verificările la nivel unitar și de API și folosești test impact analysis unde se poate. Țintește un pipeline de pull request de câteva minute. Apoi impui regula că merge-ul cere un pipeline verde.
