De reținut
- Observabilitatea înseamnă să poți înțelege comportamentul intern al unui sistem din ce produce în exterior: metrici, log-uri și trace-uri. Pentru testeri, transformă o cutie neagră într-o cutie de sticlă, atât în timpul testelor, cât și în producție.
- Folosește telemetria ca oracol: verifică dacă o cerere a produs trace-ul corect, a făcut o singură dată apelurile așteptate către alte servicii, n-a emis erori și s-a încadrat în bugetul de latență.
- În producție, SLO-urile, analiza canary, verificările sintetice și testele de alerte verifică continuu comportamentul. Datele despre utilizarea reală îți arată ce ratează testele tale.
De unde pornim
Testarea shift right și chaos engineering depind amândouă de capacitatea de a vedea ce face sistemul. Articolul acesta tratează această vizibilitate ca pe o capacitate de testare în sine.
Elementele de bază
| Semnal | Ce arată | Folosire în testare |
|---|---|---|
| Metrici | Numere în timp: rata cererilor, rata erorilor, percentilele latenței, lungimea cozilor | Verificări de SLO, comparații canary, bugete de performanță |
| Log-uri | Evenimente individuale, cu context | Detectarea erorilor și avertismentelor neașteptate în timpul testelor |
| Trace-uri | Drumul unei cereri prin servicii, cu timpul fiecărui pas | Verificări pe graful apelurilor, reîncercări, duplicate și latența pe fiecare pas |
| Profiluri | Unde se consumă procesorul și memoria | Găsirea regresiilor de performanță |
OpenTelemetry a devenit standardul deschis comun pentru producerea acestei telemetrii, indiferent de limbaj și de furnizor.
Cartea Google Site Reliability Engineering (2016) propune patru semnale de aur pentru sistemele folosite direct de utilizatori: latența, traficul, erorile și saturația. Sunt un set implicit bun și pentru oracolele de test.
Telemetria ca oracol de test
Multe comportamente importante nu se văd într-un răspuns:
- Serviciul de comenzi a apelat serviciul de plăți exact o dată, chiar și cu o reîncercare?
- S-a folosit cache-ul sau fiecare cerere a mers la baza de date?
- S-a înregistrat un avertisment care indică o trunchiere tăcută a datelor?
- Un job de fundal chiar a rulat după ce API-ul a întors 202?
Cu tracing-ul pus la punct, testele pot face verificări pe span-uri: cererea a produs un singur span de plată, niciun span de eroare, un span de bază de date sub 50 ms și un mesaj publicat în topic-ul corect. Uneori se numește testare bazată pe trace-uri și există unelte care îți permit să scrii verificări direct pe trace-uri.
Testarea în producție, cu observabilitate
SLO-uri și bugete de erori
Un obiectiv de nivel de serviciu (SLO, service level objective) declară o țintă, de exemplu „99,9% din cererile de checkout reușesc în cel mult 1 s, pe 30 de zile”. Bugetul de erori e abaterea permisă. Oferă testării și lansărilor o definiție comună și măsurabilă a lui „destul de bine”. Când bugetul se consumă repede, lansările încetinesc, iar munca pentru fiabilitate devine prioritară.
Analiza canary automată
Lansezi o versiune nouă pentru un grup canary mic și îi compari statistic metricile, precum erorile, latența și evenimentele de business, cu versiunea actuală. Netflix și Google au publicat open source o unealtă pentru asta, Kayenta, în 2018. E un test al cărui oracol este „nicio degradare semnificativă față de referință”.
Monitorizarea sintetică
Verificări scriptate ale parcursurilor critice, rulate pe producție la câteva minute. În esență, teste end-to-end automate, al căror rezultat e o alertă.
Testarea alertelor
O alertă care nu se declanșează niciodată s-ar putea să fie stricată. Injectează defecte (vezi chaos engineering) și verifică dacă se declanșează alerta potrivită, dacă ajunge la persoana potrivită și dacă are un link spre un runbook util.
Cum folosești producția ca să îmbunătățești testele
- Prioritizarea după utilizare: pe ce endpoint-uri, fluxuri și dispozitive se bazează cel mai mult utilizatorii reali? Asigură-te că sunt cel mai bine testate.
- Drumurile netestate: compară trace-urile din producție cu cele din teste. Drumurile din cod folosite în producție, dar niciodată exersate de teste, sunt riscuri.
- Forma reală a datelor: telemetria din producție dezvăluie dimensiunile payload-urilor, caracterele neobișnuite și cazurile-limită care ar trebui să devină date de test, anonimizate.
- Defectele scăpate: trace-urile fiecărui incident arată exact ce drum a cedat. Transformă-l într-un test de regresie.
API-ul de checkout al unei echipe trecea toate testele funcționale. Clienții primeau din când în când două e-mailuri de confirmare a comenzii, dar nimeni nu putea reproduce problema.
După ce a fost adăugat tracing-ul distribuit, un tester a comparat trace-urile cererilor lente. Sub încărcare, timeout-ul gateway-ului API era mai scurt decât cel al serviciului de comenzi, așa că gateway-ul reîncerca în timp ce prima încercare încă rula. Ambele încercări se finalizau. Răspunsul văzut de client era corect; trace-ul arăta două span-uri de creare a comenzii și două span-uri de e-mail.
Echipa a adăugat o cheie de idempotență, a aliniat timeout-urile și a scris un test care verifica, prin trace, exact un span de comandă pe checkout, inclusiv cu latență injectată.
Lecția: bug-ul era invizibil în răspunsuri și evident în trace-uri. Telemetria l-a făcut observabil, apoi testabil.
Cum integrezi observabilitatea în testare
- Instrumentează devreme: tratează telemetria ca pe o funcționalitate, analizată și testată ca oricare alta.
- Colectează telemetrie și în mediile de test, nu doar în producție.
- Adaugă verificări pe trace-uri și log-uri în testele de integrare și end-to-end pentru fluxurile critice.
- Definește SLO-uri împreună cu product ownerii pentru parcursurile importante și folosește-le drept criterii de lansare.
- Compară automat grupurile canary înaintea lansării complete.
- Închide bucla: golurile din producție devin teste; incidentele devin teste de regresie și alerte.
Așa da
Să verifici ce trebuie să se întâmple în interiorul sistemului („exact o încasare pe comandă; niciun log de eroare; latența serviciilor din aval în buget”), folosind trace-urile și log-urile din rularea testului.
Așa nu
Să tratezi observabilitatea doar ca pe o problemă a echipei de operațiuni. Fără ea, testerii pot verifica doar ce aleg să arate interfața sau API-ul, iar cele mai scumpe bug-uri se ascund adesea dedesubt.
Verifică-te
Un API întoarce 202 Accepted și procesează cererea asincron. Testele funcționale verifică doar codul 202. Cum poate observabilitatea să întărească aceste teste?
Arată răspunsul
Folosește trace-ul cererii (sau log-urile corelate) ca să verifici că munca de fundal chiar a avut loc: mesajul a fost publicat, consumat exact o dată, baza de date a fost actualizată și n-au apărut span-uri sau log-uri de eroare, într-un timp agreat. Adaugă o verificare bazată pe metrici că coada se golește și un test de alertă pentru mesajele care ajung în dead-letter queue.
