De reținut
- Matricile simple de risc sunt utile pentru discuție, dar slabe matematic: scorurile ordinale înmulțite între ele pot ordona greșit riscurile. Pentru deciziile importante, treci la intervale, pierdere așteptată și presupuneri explicite.
- Folosește analize structurate, precum FMEA, analiza de hazard și modelarea amenințărilor, ca să găsești riscurile pe care brainstorming-ul le ratează, și date, precum churn-ul codului, istoricul defectelor și incidentele, ca să estimezi probabilitatea.
- Cele mai periculoase riscuri se ascund în presupunerile analizei înseși. Tratează presupunerile-cheie ca ținte de testare.
De unde pornim
Articolul de nivel intermediar despre testarea bazată pe risc acoperă esențialul: risc de produs vs. risc de proiect, registrul de riscuri, legarea riscurilor de răspunsurile de testare și raportarea riscului rezidual. Articolul acesta e despre cum o faci riguros, în sisteme complexe sau cu miză mare.
Problema matricilor de risc
O grilă probabilitate × impact pe o scală de la 1 la 3 sau de la 1 la 5 e rapidă și pornește discuțiile. Dar are slăbiciuni cunoscute. Louis Anthony Cox le-a analizat într-un articol din 2008, „What's Wrong with Risk Matrices?”:
- Numerele ordinale nu sunt cantități. „Impact 3” nu e de trei ori „impact 1”. Înmulțirea lor creează o falsă impresie de precizie.
- Comprimarea intervalelor. Riscuri foarte diferite ajung în aceeași celulă. O pierdere de 10.000 de euro și una de 10 milioane pot fi amândouă „impact mare”.
- Erori de ordonare. Cox a arătat că matricile pot da scoruri mai mari unor riscuri mai mici din punct de vedere cantitativ.
- Judecată ascunsă. Scorurile par obiective, dar sunt opinii, ancorate adesea de cine vorbește primul.
Asta nu înseamnă „nu folosi matrici”. Înseamnă: folosește-le ca să sortezi și să discuți, iar pentru riscurile care determină deciziile mari, mergi mai departe.
Mai departe: cuantifică aproximativ
Pentru riscurile principale, estimează în unități reale, cu intervale:
| Risc | Probabilitate pe versiune | Impact dacă se produce | Pierdere așteptată |
|---|---|---|---|
| TVA greșit pe facturile transfrontaliere | 5–15% | 200.000 – 1.000.000 € (corecturi, penalități) | Aproximativ 10.000 – 150.000 € |
| Checkout căzut în ziua de vârf | 1–3% | 400.000 – 800.000 € vânzări pierdute | Aproximativ 4.000 – 24.000 € |
Chiar și cifrele aproximative schimbă discuțiile. Arată ce investiție în testare se plătește singură și scot la iveală dezacordurile: când cineva estimează 1%, iar altcineva 30%, ai găsit un gol de cunoaștere care merită acoperit.
Găsirea sistematică a riscurilor
Atelierele găsesc riscurile de care oamenii își fac deja griji. Tehnicile structurate le găsesc pe celelalte.
FMEA: analiza modurilor de defectare și a efectelor lor
Pentru fiecare componentă sau pas, enumeri cum ar putea ceda, efectul, cauza și controalele existente. FMEA clasică dă scoruri pentru severitate, frecvență și detectare și le înmulțește într-un „număr de prioritate a riscului”. Acest număr are aceleași probleme ordinale ca matricile de risc, așa că folosește analiza pentru structura ei, nu pentru scor.
Analiza de hazard și STPA
Pentru sistemele relevante pentru siguranță, analiza de hazard pornește de la rezultatele inacceptabile și merge înapoi. STPA (System-Theoretic Process Analysis) a Nancyei Leveson modelează sistemul ca bucle de control și întreabă cum ar putea apărea acțiuni de control nesigure: comenzi date greșit, prea târziu, prea devreme sau deloc. E deosebit de bună la găsirea riscurilor care vin din interacțiunile dintre componente și oameni, nu doar din defectarea componentelor.
Modelarea amenințărilor
Pentru securitate, tehnici precum STRIDE parcurg fiecare flux de date și fiecare graniță de încredere și întreabă despre falsificarea identității (spoofing), alterarea datelor (tampering), negarea acțiunilor (repudiation), dezvăluirea informațiilor, refuzul serviciului și escaladarea privilegiilor. Fiecare amenințare credibilă devine un risc de securitate cu un răspuns de testare.
Arborii de defectare
Pornești de la o defecțiune de nivel înalt și o descompui în combinațiile de evenimente care ar putea-o provoca, cu logică ȘI/SAU. Arborii de defectare (fault trees) arată clar punctele unice de defectare: orice ramură care duce la evenimentul de vârf doar prin porți SAU.
Estimarea probabilității cu date
Opinia e un estimator slab al locului unde stau bug-urile. Datele sunt mai bune:
- Churn-ul codului. Cercetările de la Microsoft ale lui Nachiappan Nagappan și Thomas Ball au arătat că măsurile relative ale churn-ului codului prezic bine densitatea defectelor. Codul schimbat recent și intens e mai riscant.
- Istoricul defectelor. Defectele se grupează. Modulele cu multe defecte în trecut tind să aibă mai multe.
- Complexitatea și cuplarea. Modulele mari și foarte conectate se strică mai des și le strică și pe altele.
- Semnalele din producție. Incidente, rate de eroare și tichete de suport pe funcționalitate.
- Tipul schimbării. Migrările de date, schimbările de concurență și cele de permisiuni au constant o probabilitate mare.
Combină-le într-o hartă a punctelor fierbinți din cod și compar-o cu intuiția echipei. Acolo unde nu se potrivesc, investighează.
Și presupunerile sunt riscuri
Orice analiză de risc se sprijină pe presupuneri: „operatorii observă în câteva secunde”, „senzorul acesta cedează rar”, „API-ul terț validează datele”. Dacă o presupunere e greșită, toată analiza e greșită, iar sistemul poate ceda exact în felul de care fusese „dovedit” sigur.
Boeing 737 MAX includea o funcție de control al zborului numită MCAS, care putea coborî automat botul avionului. În designul inițial, MCAS acționa pe baza datelor de la un singur senzor de unghi de atac.
Investigațiile și analizele, inclusiv raportul Comisiei pentru transporturi a Camerei Reprezentanților SUA, au constatat că evaluarea de siguranță se baza pe presupuneri, inclusiv aceea că piloții vor recunoaște o activare eronată și vor reacționa în câteva secunde, folosind procedurile existente.
Două accidente, zborul Lion Air 610 din octombrie 2018 și zborul Ethiopian Airlines 302 din martie 2019, au ucis 346 de oameni. În ambele, MCAS a fost activat de date eronate de la senzor. Avionul a fost ținut la sol în toată lumea aproximativ 20 de luni. Software-ul actualizat compară datele de la ambii senzori de unghi de atac.
Lecția: clasificarea riscului depindea de felul în care cedează un singur senzor și de cât de repede reacționează oamenii sub stres. Aceste presupuneri erau ele însele riscuri critice și trebuiau testate la fel de riguros ca software-ul.
Cum testezi presupunerile
- Enumeră presupunerile din spatele fiecărui risc evaluat cu severitate mare: „e detectat de monitorizare”, „utilizatorii nu vor face X”, „partenerul validează Y”.
- Evaluează fiecare presupunere: cât de siguri suntem și ce se întâmplă dacă e falsă?
- Proiectează teste pentru cele critice: injectare de defecte pentru „sistemul detectează”, studii cu utilizatori sau simulatoare pentru „oamenii reacționează la timp”, teste de contract pentru „partenerul validează”.
- Reevaluează riscul cu rezultatele și consemnează ce presupuneri rămân netestate.
Guvernanța: apetitul la risc și acceptarea
La scară mare, testarea bazată pe risc e un proces organizațional:
- Apetitul la risc: organizația declară ce riscuri nu acceptă, de exemplu „niciun defect cunoscut de pierdere de date în producție”, și pe care le acceptă.
- Responsabilitatea: fiecare risc mare are un responsabil numit, care poate accepta riscul rezidual.
- Trasabilitatea: risc → răspuns de testare → dovezi → decizie, ca auditurile și analizele post-incident să poată urmări raționamentul.
- Feedback-ul: fiecare defect scăpat în producție e analizat. Riscul a fost identificat? Probabilitatea sau impactul au fost evaluate greșit? Răspunsul de testare a fost greșit? Răspunsul se întoarce în tehnicile de mai sus.
Așa da
Pentru puținele riscuri care determină deciziile de lansare, estimează în unități reale, cu intervale, enumeră presupunerile-cheie și testează-le pe cele care ar schimba decizia.
Așa nu
Să prezinți o matrice colorată ca și cum scorurile ei ar fi măsurători. Precizia e falsă și poate ascunde riscul care contează cel mai mult.
Verifică-te
Un registru de riscuri marchează „căderea procesatorului de plăți” ca risc mic, pentru că „trecerea automată pe procesatorul de rezervă rezolvă problema”. Ce ar face un tester expert cu această evaluare?
Arată răspunsul
Ar trata trecerea pe rezervă ca pe o presupunere critică, nu ca pe un fapt. Ar întreba dacă a fost testată vreodată cap-coadă, apoi ar testa-o: injectează o cădere a procesatorului într-un mediu de test sau în producție, cu măsuri de siguranță, și măsoară dacă trecerea are loc, cât de repede și dacă se pierd sau se dublează plăți. Apoi reevaluează riscul pe baza dovezilor.
