Testare Software

Parcurs: Expert · lecția 12 din 21

ExpertFiabilitate6 min de cititPublicat 12 noiembrie 2026

Testarea sistemelor distribuite și a concurenței

Sistemele distribuite și concurente cedează în feluri la care testele obișnuite nu ajung: defecțiuni parțiale, mesaje reordonate sau duplicate, ceasuri decalate și curse rare. Iată cum le testează experții: detectoare de curse, injectare de defecte, Jepsen și simulare deterministă.

Pe această pagină

De reținut

  • În sistemele distribuite, defecțiunea parțială e normală: mesajele se pierd, întârzie, se dublează sau se reordonează; nodurile fac pauze, iar ceasurile se decalează. Codul concurent adaugă intercalări (interleavings) pe care, implicit, nu le controlezi.
  • Testele obișnuite rulează în condiții prietenoase și aproape niciodată nu ating intercalările proaste. Ai nevoie de unelte care creează intenționat condițiile proaste: detectoare de curse, teste de stres și de intercalare, injectare de defecte, testarea partițiilor de rețea.
  • Verifică invarianții și garanțiile de consistență („nicio scriere confirmată nu se pierde”), nu rezultate individuale. Pentru sistemele cele mai grele, simularea deterministă face reproductibile defecțiunile rare.

De unde pornim

Ai văzut testele instabile cauzate de sincronizare și de starea comună și testarea avansată bazată pe stări a drumurilor de recuperare. Sistemele distribuite le combină pe amândouă, la scară mare: multe componente, fiecare cu propria stare, care comunică printr-o rețea nesigură.

Cum cedează sistemele distribuite

DefecțiuneCe se întâmplăBug tipic
Pierderea mesajelorO cerere sau un răspuns nu ajunge niciodatăClientul reîncearcă; serverul procesează operația de două ori
Întârziere și reordonareMesajele ajung târziu sau în altă ordine„Anulare” procesată înainte de „creare”
DuplicareAcelași mesaj e livrat de două oriÎncasare dublă, e-mail dublu
Partiție de rețeaUnele noduri nu le pot accesa pe alteleDouă noduri cred amândouă că sunt lider; scrieri în split-brain
Pauze de procesGarbage collection sau o pauză a mașinii virtuale îngheață un nodUn nod acționează pe baza unui lease expirat
Decalajul ceasurilorMașinile nu sunt de acord asupra oreiOrdonare greșită după timestamp; token-uri care „expiră” prea devreme
Defecțiune parțialăO dependență e lentă, nu căzutăTimeout-urile se propagă în cascadă; pool-urile de thread-uri se epuizează

Cum cedează concurența

  • Condiții de cursă (race conditions): rezultatul depinde de sincronizarea a două operații, de exemplu verificare-apoi-acțiune, fără lock.
  • Deadlock-uri și livelock-uri: thread-urile se așteaptă reciproc la nesfârșit sau reîncearcă mereu, fără progres.
  • Încălcări ale atomicității: o actualizare în mai mulți pași e văzută pe jumătate făcută de alt thread.
  • Vizibilitatea memoriei: scrierile unui thread nu sunt vizibile pentru altul fără sincronizarea potrivită.

Astfel de bug-uri pot apărea o dată la un milion de rulări pe laptopul unui programator și zilnic sub încărcarea din producție.

Tehnici, de la ieftine la profunde

1. Detectoare dinamice de curse

Unelte precum detectorul de curse inclus în Go, ThreadSanitizer (pentru C/C++ și altele) și harness-urile Java de stres pentru concurență detectează accesul nesincronizat în timpul rulării testelor. Pornește-le în CI pentru codul concurent; găsesc bug-uri pe care testele tale doar le execută.

2. Teste de stres și de intercalare

Rulezi aceeași operație concurentă de mii de ori, cu multe thread-uri, întârzieri aleatoare și contenție. Unele unelte explorează sistematic diferite ordonări ale thread-urilor, în loc să spere că le atinge planificatorul.

3. Injectarea de defecte la nivel de rețea

Pui între componente un proxy care poate adăuga latență, pierde sau dubla pachete, tăia conexiuni ori reduce lățimea de bandă. Apoi verifici dacă timeout-urile, reîncercările, idempotența și circuit breaker-ele se comportă așa cum au fost proiectate.

4. Testarea partițiilor și a consistenței (în stil Jepsen)

Proiectul Jepsen al lui Kyle Kingsbury testează baze de date distribuite rulând clienți concurenți în timp ce injectează partiții de rețea, pauze și schimbări de ceas. Înregistrează fiecare operație și rezultatul ei, apoi verifică istoricul față de modelul de consistență pe care îl promite sistemul, de exemplu linearizabilitatea sau serializabilitatea. Analizele Jepsen au găsit garanții încălcate în multe baze de date și cozi cunoscute. Metoda se poate generaliza: înregistrezi istoricele, injectezi defecte, verifici garanțiile.

5. Testarea prin simulare deterministă

Echipa FoundationDB și-a construit baza de date astfel încât întregul cluster să poată rula într-un simulator determinist: rețea, discuri și ceasuri simulate, controlate de un singur seed aleator. Simulatorul injectează defecte mult mai agresiv decât realitatea, iar orice defecțiune poate fi reluată exact pornind de la seed-ul ei. E scump de construit de la început, dar transformă cursele care apar o dată pe an în producție în defecțiuni de test reproductibile.

6. Verificarea designului cu model checking

Pentru protocoale, verifică designul înaintea codului, cu unelte precum TLA+. Vezi metode formale și model checking.

Oracole: invarianți, nu rezultate

Pentru că sincronizarea e nedeterministă, rezultatele exacte variază. Verifică proprietăți care trebuie să fie mereu adevărate:

  • Nicio scriere confirmată nu se pierde.
  • Fiecare comandă e încasată cel mult o dată.
  • Cel mult un lider pe mandat.
  • Soldurile au aceeași sumă totală după orice set de transferuri.
  • Fiecare mesaj e procesat până la urmă sau trimis într-o coadă de mesaje moarte (dead-letter queue).
Exemplu real · Pana de curent din nord-estul SUA, 2003O condiție de cursă care a redus alarmele la tăcere

Pe 14 august 2003, o pană de curent s-a extins în părți din nord-estul Statelor Unite și din Ontario, afectând aproximativ 50 de milioane de oameni.

Grupul de lucru comun SUA–Canada a constatat că, la compania de utilități FirstEnergy, sistemul de alarmă din camera de control încetase să funcționeze fără ca operatorii să-și dea seama. Pe măsură ce liniile de transport se deconectau, nu apărea nicio alarmă, așa că operatorii n-au reacționat cât situația încă putea fi ținută sub control.

Un audit al codului făcut după pana de curent de GE, furnizorul sistemului de management al energiei, a legat defectarea alarmei de o condiție de cursă din software-ul de procesare a alarmelor, declanșată de o anumită combinație de evenimente din acea zi. Auditul a analizat aproximativ un milion de linii de cod.

Lecția: condiția de cursă avea nevoie de o combinație rară de sincronizare și evenimente, așa că testarea obișnuită nu o declanșase. Iar pentru că a cedat în tăcere, nimeni nu a știut că plasa de siguranță dispăruse. Testarea concurenței și monitorizarea monitorizării fac ambele parte din testarea sistemelor critice.

Un program practic

  1. Scrie garanțiile pe care le promite sistemul: semantica livrării, consistența, idempotența, ordinea.
  2. Pornește detectoarele de curse pentru codul concurent, în CI.
  3. Adaugă teste cu injectare de defecte pentru fiecare dependență externă: lentă, căzută, instabilă, care dublează mesajele.
  4. Fă operațiile idempotente și testează-le cu reîncercări și duplicate.
  5. Înregistrează istoricele în testele de concurență și verifică-le față de invarianți.
  6. Rulează noaptea campanii aleatoare mai lungi și păstrează fiecare seed care produce un eșec.
  7. Testează alarmele: injectează defecte și verifică dacă monitorizarea le observă.

Așa da

Să verifici invarianți pe toată rularea („nicio comandă încasată de două ori; fiecare comandă acceptată persistată”) în timp ce injectezi întârzieri, reîncercări și mesaje duplicate.

Așa nu

Să adaugi apeluri sleep() până când un test concurent trece. Ai ascuns cursa în test; ea e tot acolo, în produs.

Verifică-te

Un serviciu de plăți reîncearcă apelurile către bancă atunci când o cerere expiră. În producție, câțiva clienți au fost taxați de două ori. Ce teste ar fi prins problema?

Arată răspunsul

Teste cu injectare de defecte în care banca procesează plata, dar răspunsul se pierde sau întârzie, așa că clientul primește timeout și reîncearcă, combinate cu verificarea unui invariant: fiecare intenție de plată e încasată cel mult o dată. Soluția e de obicei o cheie de idempotență trimisă la fiecare încercare; apoi testezi duplicatele, reîncercările concurente și reîncercările după o întârziere lungă.