De reținut
- În sistemele distribuite, defecțiunea parțială e normală: mesajele se pierd, întârzie, se dublează sau se reordonează; nodurile fac pauze, iar ceasurile se decalează. Codul concurent adaugă intercalări (interleavings) pe care, implicit, nu le controlezi.
- Testele obișnuite rulează în condiții prietenoase și aproape niciodată nu ating intercalările proaste. Ai nevoie de unelte care creează intenționat condițiile proaste: detectoare de curse, teste de stres și de intercalare, injectare de defecte, testarea partițiilor de rețea.
- Verifică invarianții și garanțiile de consistență („nicio scriere confirmată nu se pierde”), nu rezultate individuale. Pentru sistemele cele mai grele, simularea deterministă face reproductibile defecțiunile rare.
De unde pornim
Ai văzut testele instabile cauzate de sincronizare și de starea comună și testarea avansată bazată pe stări a drumurilor de recuperare. Sistemele distribuite le combină pe amândouă, la scară mare: multe componente, fiecare cu propria stare, care comunică printr-o rețea nesigură.
Cum cedează sistemele distribuite
| Defecțiune | Ce se întâmplă | Bug tipic |
|---|---|---|
| Pierderea mesajelor | O cerere sau un răspuns nu ajunge niciodată | Clientul reîncearcă; serverul procesează operația de două ori |
| Întârziere și reordonare | Mesajele ajung târziu sau în altă ordine | „Anulare” procesată înainte de „creare” |
| Duplicare | Același mesaj e livrat de două ori | Încasare dublă, e-mail dublu |
| Partiție de rețea | Unele noduri nu le pot accesa pe altele | Două noduri cred amândouă că sunt lider; scrieri în split-brain |
| Pauze de proces | Garbage collection sau o pauză a mașinii virtuale îngheață un nod | Un nod acționează pe baza unui lease expirat |
| Decalajul ceasurilor | Mașinile nu sunt de acord asupra orei | Ordonare greșită după timestamp; token-uri care „expiră” prea devreme |
| Defecțiune parțială | O dependență e lentă, nu căzută | Timeout-urile se propagă în cascadă; pool-urile de thread-uri se epuizează |
Cum cedează concurența
- Condiții de cursă (race conditions): rezultatul depinde de sincronizarea a două operații, de exemplu verificare-apoi-acțiune, fără lock.
- Deadlock-uri și livelock-uri: thread-urile se așteaptă reciproc la nesfârșit sau reîncearcă mereu, fără progres.
- Încălcări ale atomicității: o actualizare în mai mulți pași e văzută pe jumătate făcută de alt thread.
- Vizibilitatea memoriei: scrierile unui thread nu sunt vizibile pentru altul fără sincronizarea potrivită.
Astfel de bug-uri pot apărea o dată la un milion de rulări pe laptopul unui programator și zilnic sub încărcarea din producție.
Tehnici, de la ieftine la profunde
1. Detectoare dinamice de curse
Unelte precum detectorul de curse inclus în Go, ThreadSanitizer (pentru C/C++ și altele) și harness-urile Java de stres pentru concurență detectează accesul nesincronizat în timpul rulării testelor. Pornește-le în CI pentru codul concurent; găsesc bug-uri pe care testele tale doar le execută.
2. Teste de stres și de intercalare
Rulezi aceeași operație concurentă de mii de ori, cu multe thread-uri, întârzieri aleatoare și contenție. Unele unelte explorează sistematic diferite ordonări ale thread-urilor, în loc să spere că le atinge planificatorul.
3. Injectarea de defecte la nivel de rețea
Pui între componente un proxy care poate adăuga latență, pierde sau dubla pachete, tăia conexiuni ori reduce lățimea de bandă. Apoi verifici dacă timeout-urile, reîncercările, idempotența și circuit breaker-ele se comportă așa cum au fost proiectate.
4. Testarea partițiilor și a consistenței (în stil Jepsen)
Proiectul Jepsen al lui Kyle Kingsbury testează baze de date distribuite rulând clienți concurenți în timp ce injectează partiții de rețea, pauze și schimbări de ceas. Înregistrează fiecare operație și rezultatul ei, apoi verifică istoricul față de modelul de consistență pe care îl promite sistemul, de exemplu linearizabilitatea sau serializabilitatea. Analizele Jepsen au găsit garanții încălcate în multe baze de date și cozi cunoscute. Metoda se poate generaliza: înregistrezi istoricele, injectezi defecte, verifici garanțiile.
5. Testarea prin simulare deterministă
Echipa FoundationDB și-a construit baza de date astfel încât întregul cluster să poată rula într-un simulator determinist: rețea, discuri și ceasuri simulate, controlate de un singur seed aleator. Simulatorul injectează defecte mult mai agresiv decât realitatea, iar orice defecțiune poate fi reluată exact pornind de la seed-ul ei. E scump de construit de la început, dar transformă cursele care apar o dată pe an în producție în defecțiuni de test reproductibile.
6. Verificarea designului cu model checking
Pentru protocoale, verifică designul înaintea codului, cu unelte precum TLA+. Vezi metode formale și model checking.
Oracole: invarianți, nu rezultate
Pentru că sincronizarea e nedeterministă, rezultatele exacte variază. Verifică proprietăți care trebuie să fie mereu adevărate:
- Nicio scriere confirmată nu se pierde.
- Fiecare comandă e încasată cel mult o dată.
- Cel mult un lider pe mandat.
- Soldurile au aceeași sumă totală după orice set de transferuri.
- Fiecare mesaj e procesat până la urmă sau trimis într-o coadă de mesaje moarte (dead-letter queue).
Pe 14 august 2003, o pană de curent s-a extins în părți din nord-estul Statelor Unite și din Ontario, afectând aproximativ 50 de milioane de oameni.
Grupul de lucru comun SUA–Canada a constatat că, la compania de utilități FirstEnergy, sistemul de alarmă din camera de control încetase să funcționeze fără ca operatorii să-și dea seama. Pe măsură ce liniile de transport se deconectau, nu apărea nicio alarmă, așa că operatorii n-au reacționat cât situația încă putea fi ținută sub control.
Un audit al codului făcut după pana de curent de GE, furnizorul sistemului de management al energiei, a legat defectarea alarmei de o condiție de cursă din software-ul de procesare a alarmelor, declanșată de o anumită combinație de evenimente din acea zi. Auditul a analizat aproximativ un milion de linii de cod.
Lecția: condiția de cursă avea nevoie de o combinație rară de sincronizare și evenimente, așa că testarea obișnuită nu o declanșase. Iar pentru că a cedat în tăcere, nimeni nu a știut că plasa de siguranță dispăruse. Testarea concurenței și monitorizarea monitorizării fac ambele parte din testarea sistemelor critice.
Un program practic
- Scrie garanțiile pe care le promite sistemul: semantica livrării, consistența, idempotența, ordinea.
- Pornește detectoarele de curse pentru codul concurent, în CI.
- Adaugă teste cu injectare de defecte pentru fiecare dependență externă: lentă, căzută, instabilă, care dublează mesajele.
- Fă operațiile idempotente și testează-le cu reîncercări și duplicate.
- Înregistrează istoricele în testele de concurență și verifică-le față de invarianți.
- Rulează noaptea campanii aleatoare mai lungi și păstrează fiecare seed care produce un eșec.
- Testează alarmele: injectează defecte și verifică dacă monitorizarea le observă.
Așa da
Să verifici invarianți pe toată rularea („nicio comandă încasată de două ori; fiecare comandă acceptată persistată”) în timp ce injectezi întârzieri, reîncercări și mesaje duplicate.
Așa nu
Să adaugi apeluri sleep() până când un test concurent trece. Ai ascuns cursa în test; ea e tot acolo, în produs.
Verifică-te
Un serviciu de plăți reîncearcă apelurile către bancă atunci când o cerere expiră. În producție, câțiva clienți au fost taxați de două ori. Ce teste ar fi prins problema?
Arată răspunsul
Teste cu injectare de defecte în care banca procesează plata, dar răspunsul se pierde sau întârzie, așa că clientul primește timeout și reîncearcă, combinate cu verificarea unui invariant: fiecare intenție de plată e încasată cel mult o dată. Soluția e de obicei o cheie de idempotență trimisă la fiecare încercare; apoi testezi duplicatele, reîncercările concurente și reîncercările după o întârziere lungă.
