De reținut
- Un mediu (environment) e o copie completă, funcțională, a sistemului: aplicația, baza de date, configurația și conexiunile la alte servicii. Echipele au de obicei medii de dezvoltare, test (QA), staging și producție.
- Multe bug-uri care „nu se pot reproduce” sunt de fapt diferențe între medii: altă versiune, altă configurație, alte date sau alt serviciu extern.
- Știi mereu ce mediu și ce versiune testezi și scrie-le pe amândouă în fiecare raport de bug. Nu testa niciodată cu datele reale ale clienților sau cu plăți reale, decât dacă exact asta e planul, explicit.
Ce este un mediu
O aplicație nu înseamnă doar cod. Ca să ruleze, are nevoie de servere, de o bază de date cu date, de configurație (setări, chei, feature flags) și de conexiuni la alte servicii, precum plățile, e-mailul sau hărțile.
Un set complet din toate acestea e un mediu. Echipele țin mai multe, ca să poată construi și testa fără să riște ce văd utilizatorii reali.
Mediile obișnuite
| Mediu | Mai e numit | Scop | Cine îl folosește |
|---|---|---|---|
| Local / dezvoltare | dev, local | Calculatorul unui programator sau un server de dezvoltare comun; se schimbă constant | Programatorii |
| Test | QA, integration, SIT | Unde testerii testează funcționalitățile noi; actualizat des | Testerii, programatorii |
| Staging | pre-production, pre-prod, UAT | O copie apropiată de producție pentru verificările finale dinaintea lansării | Testerii, product owner-ii, uneori clienții |
| Producție | prod, live | Sistemul real, cu utilizatori reali și date reale | Toată lumea; testerii, de obicei cu grijă |
Denumirile diferă de la o firmă la alta. În prima săptămână, cere o listă: numele, URL-ul, ce versiune e instalată acolo și cine îl poate modifica.
Cum trece codul prin medii
- Un programator construiește și testează o modificare local.
- Modificarea e integrată (merge) și instalată (deploy) automat pe mediul de test, adesea printr-un pipeline CI/CD.
- Testerii o testează acolo; bug-urile sunt reparate și instalate din nou.
- Un release candidate (versiune candidată la lansare) ajunge pe staging pentru testarea de regresie și verificările finale.
- Aceeași versiune e instalată în producție, urmată de un smoke test rapid.
Ideea-cheie: aceeași versiune (build) trebuie să treacă prin toate mediile. Dacă ceva e reconstruit sau reconfigurat pe drum, ce ai testat nu e exact ce primesc utilizatorii.
De ce apare un bug într-un mediu și nu în altul
| Diferență | Exemplu |
|---|---|
| Versiunea | Pe test e build-ul 4.2.1, cu reparația; pe staging e încă 4.2.0. |
| Configurația | Un feature flag e activ pe test și inactiv în producție. |
| Datele | Pe test sunt 50 de produse; în producție sunt 80.000, iar căutarea expiră. |
| Serviciile externe | Testul folosește un sandbox de plăți care aprobă tot; producția respinge unele carduri. |
| Scara și infrastructura | Testul rulează pe un server; producția, pe douăzeci, în spatele unui load balancer. |
| Browserul sau dispozitivul | „La mine merge” e adesea altă versiune de browser sau un fișier din cache. |
Cum verifici ce testezi
- Găsește numărul versiunii. Multe aplicații îl afișează în subsolul paginii, pe o pagină „Despre” sau la un endpoint precum
/versionori/health. Întreabă-i pe programatori unde. - Confirmă că reparația e instalată înainte să retestezi un bug. Dacă retestezi versiunea veche, pierzi timp și ajungi la rapoarte false de „tot nu merge”.
- Scrie-l în fiecare raport de bug: „Staging, build 4.2.1, Chrome 130, contul de test ana.qa+1@example.com.”
Reguli ca să testezi în siguranță
- Datele de test rămân în mediile de test. Folosește conturi de test, numere de card false din sandbox-ul procesatorului de plăți și date personale inventate. Vezi SQL și date de test pentru testeri.
- Ai grijă în producție. Unele verificări după lansare sunt normale, precum smoke test-urile și monitorizarea. Dar crearea de comenzi, trimiterea de e-mailuri sau modificarea datelor în producție trebuie agreate și planificate.
- Nu modifica mediile comune fără să-i anunți pe ceilalți. Să resetezi baza de date de test în mijlocul rulării altcuiva e o metodă clasică de a-ți face dușmani.
Pe 1 august 2012, Knight Capital, una dintre cele mai mari firme de tranzacționare de acțiuni din SUA, a instalat un software nou de tranzacționare. Potrivit deciziei ulterioare a SEC (autoritatea americană a piețelor de capital), codul nou a fost instalat pe șapte dintre cele opt servere. Nimeni n-a observat că al optulea fusese omis și nicio a doua persoană n-a verificat instalarea.
Al optulea server conținea încă un cod vechi, nefolosit. Noua versiune refolosea o setare care pornise cândva acel cod vechi. La deschiderea bursei, al optulea server l-a rulat și a trimis un val de ordine nedorite.
În aproximativ 45 de minute, sistemul Knight a trimis peste 4 milioane de ordine, încercând să execute doar 212 ordine ale clienților. Firma a pierdut peste 460 de milioane de dolari și a fost amendată ulterior de SEC.
Lecția: „instalat în producție” trebuie să însemne că fiecare parte a producției rulează aceeași versiune, verificată. Verificarea consecvenței mediilor e tot testare, la fel ca un smoke test după fiecare instalare.
Așa da
„Reprodus pe staging, build 4.2.1 (din /version), Chrome 130, contul qa.buyer3. Nu se reproduce pe test (build 4.2.2), care s-ar putea să conțină deja reparația.”
Așa nu
„Nu merge pe server.” Ce server? Ce build? Programatorul trebuie să întrebe, iar tu să răspunzi, înainte să înceapă cineva să repare.
Verifică-te
Un bug e marcat „Fixed”. Îl retestezi pe mediul de test și e tot acolo. Ce ar trebui să verifici înainte să-l redeschizi?
Arată răspunsul
Verifică dacă reparația e chiar instalată pe mediul pe care îl folosești: compară numărul build-ului sau al versiunii cu cel în care, după spusele programatorului, se află reparația. Verifică și cache-ul (reîncărcare forțată sau o fereastră privată) și dacă folosești aceleași date și același cont ca în raportul inițial. Dacă e instalat build-ul corect și bug-ul e tot acolo, redeschide-l cu numărul build-ului și cu dovezi.
