De reținut
- Chaos engineering înseamnă experimentare, nu stricăciuni la întâmplare: definești o stare stabilă măsurabilă, formulezi ipoteza că se menține la o anumită defecțiune, injectezi defecțiunea și cauți o diferență.
- Siguranța vine din minimizarea razei de impact (blast radius), din condiții clare de oprire și din creșterea treptată, de la staging la felii mici din producție.
- Acoperă mai mult decât căderile de servere: latență, defecțiuni ale dependențelor, pierderea unei regiuni, configurație greșită, probleme de ceas și testarea recuperării înseși, inclusiv backup-urile, failover-ul și runbook-urile.
De unde pornim
Testarea shift right a prezentat chaos engineering ca pe un mod de a învăța din producție. Testarea sistemelor distribuite a arătat cum defecțiunile parțiale strică presupunerile. Chaos engineering aplică aceste idei întregului sistem în funcțiune, continuu.
Principiile
Principles of Chaos Engineering, scrise de comunitate, descriu abordarea:
- Construiește o ipoteză în jurul comportamentului de stare stabilă. Folosește rezultate măsurabile care contează pentru utilizatori, precum comenzi pe minut, autentificări reușite și latența p99, nu indicatori interni, precum procesorul.
- Variază evenimentele din lumea reală. Căderi de servere, latență de rețea, erori ale dependențelor, vârfuri de trafic, certificate expirate.
- Rulează experimentele în producție, acolo unde sunt traficul, datele și configurația reale, când ești pregătit și cu măsuri de siguranță.
- Automatizează experimentele, ca să ruleze continuu, astfel încât reziliența să nu se degradeze pe măsură ce se schimbă sistemul.
- Minimizează raza de impact. Pornește cu puțin, limitează impactul și oprește-te la primul semn de pagubă.
Proiectarea unui experiment
| Element | Exemplu |
|---|---|
| Stare stabilă | Rata de succes la checkout ≥ 99,5%, latența p99 < 800 ms |
| Ipoteză | „Dacă una dintre cele trei instanțe ale serviciului de recomandări e oprită, starea stabilă a checkout-ului se menține” |
| Defecțiune | Oprești o instanță; sau adaugi 2 s latență la apelurile către serviciul de recomandări |
| Scop (raza de impact) | 1% din trafic într-o regiune, timp de 10 minute |
| Grup de control | Restul de 99% din trafic, pentru comparație |
| Condiții de oprire | Succes la checkout < 99% sau consum al bugetului de erori peste prag → oprire imediată |
| Observare | Dashboard-uri și trace-uri pentru checkout, recomandări și dependențe |
| Rezultat | Ipoteza s-a confirmat sau s-a găsit o slăbiciune, cu un tichet și un responsabil |
O ipoteză infirmată e un succes pentru experiment: ai găsit o slăbiciune într-un mod controlat, nu în timpul unei căderi.
Ce injectezi
- Infrastructură: oprirea instanțelor sau a containerelor, disc plin, presiune pe procesor sau memorie.
- Rețea: latență, pierdere de pachete, defecțiuni DNS, partiție între servicii.
- Dependențe: un API din aval care întoarce erori, răspunsuri lente sau date malformate.
- Scară: încărcare bruscă, cache-uri goale, avalanșa de cereri după recuperare.
- Platformă: căderea unei zone sau a unei regiuni, certificate expirate, decalaj de ceas.
- Oameni și proces: echipa de gardă răspunde la un incident injectat, într-un game day. Se declanșează alertele? Runbook-ul e corect?
Când Netflix și-a mutat serviciul de streaming în cloud, a pornit de la premisa că orice server poate dispărea oricând. Ca să se asigure că serviciile chiar tolerează asta, a construit Chaos Monkey, o unealtă care oprește aleator instanțe din producție.
Într-un articol din iulie 2011, „The Netflix Simian Army”, compania descria o familie tot mai mare de astfel de unelte. Chaos Monkey oprește instanțe; Chaos Gorilla simulează pierderea unei întregi zone de disponibilitate; altele injectează latență sau caută probleme de configurare. Netflix a publicat ulterior Chaos Monkey ca open source, iar inginerii săi au contribuit la conturarea disciplinei mai largi a chaos engineering.
Lecția: dacă defecțiunile sunt sigure, provocarea lor regulată și în siguranță transformă reziliența dintr-o intenție de design într-o proprietate testată.
Cum începi în siguranță
- Asigură-te că vezi: indicatori clari de stare stabilă, dashboard-uri, tracing și alerte. Fără observabilitate, haosul e doar pagubă.
- Începe în staging, cu defecțiuni cunoscute, de exemplu oprirea unei instanțe sau încetinirea unei dependențe.
- Organizează un game day: un exercițiu programat, pentru toată echipa, cu un facilitator și un plan de oprire.
- Treci în producție cu o rază de impact minusculă, în timpul programului de lucru și cu toată echipa la curent.
- Repară ce găsești înainte să rulezi experimente mai mari.
- Automatizează experimentele care trec, ca să ruleze în continuare pe măsură ce se schimbă sistemul.
Unelte: Chaos Monkey, servicii ale furnizorilor de cloud, precum AWS Fault Injection Service și Azure Chaos Studio, și platforme open-source precum LitmusChaos și Chaos Mesh pentru Kubernetes.
Așa da
Să scrii ipoteza și condițiile de oprire înainte să injectezi ceva și să anunți experimentele din producție tuturor celor care ar putea fi alertați.
Așa nu
Să oprești servere la întâmplare în producție „ca să vezi ce se întâmplă”, fără indicatori de stare stabilă și fără o cale de oprire. E o cădere provocată de tine, nu un experiment.
Verifică-te
Serviciul tău are un fallback care ar trebui să servească prețuri din cache dacă serviciul de prețuri e căzut. Cum ai proiecta un experiment de chaos pentru el?
Arată răspunsul
Starea stabilă: rata de succes la checkout și ponderea comenzilor cu un preț valid. Ipoteza: dacă serviciul de prețuri întoarce erori pentru 1% din trafic, starea stabilă a checkout-ului se menține, iar acele cereri sunt servite din cache. Defecțiunea: injectezi erori sau timeout-uri la apelurile de preț pentru acel 1%. Oprești dacă succesul la checkout scade sub prag. Observi folosirea fallback-ului, prospețimea cache-ului și erorile. Apoi verifici dacă prețurile servite s-au încadrat în vechimea permisă.
