Testare Software

Parcurs: Expert · lecția 17 din 21

ExpertSisteme AI6 min de cititPublicat 12 noiembrie 2026

Testarea sistemelor AI și de machine learning

Sistemele de machine learning își învață comportamentul din date, așa că testarea clasică ajunge doar până la un punct. Iată cum testezi datele, modelele și sistemele din jurul lor: evaluare pe segmente, teste comportamentale, echitate, robustețe și monitorizarea derivei.

Pe această pagină

De reținut

  • În sistemele ML, datele fac parte din cod. Testează datele (calitate, scurgeri de informație, reprezentativitate), modelul (performanța pe segmentele relevante, robustețe, echitate) și sistemul din jurul lui (pipeline-uri, soluții de rezervă, monitorizare).
  • Acuratețea agregată ascunde problemele. Evaluează pe segmente (slices), precum subgrupuri, cazuri rare și condiții noi, și folosește teste comportamentale: funcționalitate minimă, invarianță și așteptări direcționale.
  • Modelele se degradează pe măsură ce se schimbă lumea. Monitorizarea derivei datelor și a conceptelor în producție face parte din testare, nu e un detaliu de operațiuni.

De unde pornim

Sistemele ML sunt cazul extrem al problemei oracolului: pentru majoritatea datelor de intrare, nimeni nu poate spune dinainte singurul rezultat corect. Testarea metamorfică e una dintre tehnicile-cheie aici, combinată cu evaluarea statistică și cu testarea datelor.

Ce e diferit la ML

Software clasicSistem ML
Comportament scris în codComportament învățat din date
Bug-urile sunt în codBug-urile pot fi în date, etichete, caracteristici, procesul de antrenare sau în cod
Rezultat determinist pentru o dată de intrareAdesea probabilist; reantrenarea poate schimba comportamentul
Corect / incorect pe fiecare testCalitatea e statistică: rate de eroare, distribuții
Stabil până se schimbă codulSe poate degrada când se schimbă lumea

Testarea datelor

  • Schemă și validitate: tipuri, intervale, valori lipsă, combinații imposibile, precum vârsta de 3 ani cu permis de conducere.
  • Calitatea etichetelor: eșantionează etichete pentru verificare; măsoară acordul dintre cei care etichetează.
  • Scurgerile de informație (leakage): caracteristici care n-ar fi disponibile în momentul predicției sau exemple de test care apar și în datele de antrenare. Scurgerile produc scoruri excelente offline și rezultate slabe în lumea reală.
  • Reprezentativitatea: datele de antrenare acoperă populațiile și condițiile pe care le va întâlni modelul? Cine e sub-reprezentat?
  • Verificări ale distribuțiilor între datele de antrenare și datele noi, ca să prinzi schimbările devreme.

Testarea modelului

O evaluare făcută corect

  • Păstrează separat un set de test care nu e folosit niciodată pentru antrenare sau ajustare și reîmprospătează-l.
  • Alege metrici potrivite costului de business: compromisurile precizie vs. recall contează mai mult decât acuratețea pentru problemele dezechilibrate, precum frauda.
  • Evaluează pe segmente: pe țară, dispozitiv, limbă, segment de clienți, clase rare. Un model cu 95% acuratețe globală poate fi inutil pentru un grup mic, dar important.
  • Verifică calibrarea: când modelul spune că e 80% sigur, are dreptate în aproximativ 80% din cazuri?

Testarea comportamentală

Abordarea CheckList a lui Ribeiro și a colegilor săi (2020) adaptează la ML ideile din testarea software, mai ales pentru modelele de limbaj:

Tip de testIdeeaExemplu (model de sentiment)
Funcționalitate minimăCazuri simple pe care trebuie să le nimerească„Îmi place mult produsul” → pozitiv
InvarianțăSchimbări care n-ar trebui să afecteze rezultatulSchimbarea unui nume sau a unui oraș într-o recenzie nu schimbă sentimentul
Așteptare direcționalăSchimbări care ar trebui să miște rezultatul într-o direcție cunoscutăAdăugarea „dar livrarea a fost groaznică” nu ar trebui să-l facă mai pozitiv

Acestea sunt, în practică, teste metamorfice și pot fi generate la scară mare.

Robustețe și echitate

  • Robustețe: perturbările mici și realiste, precum greșelile de tipar, lumina, zgomotul sau reformularea, nu ar trebui să răstoarne deciziile.
  • Echitate (fairness): compară ratele de eroare și rezultatele între grupurile protejate și testează contrafactualele: schimbi doar un atribut sensibil sau un substitut al lui și verifici dacă se schimbă decizia.
Exemplu real · Amazon, raportat în 2018Un model de recrutare care a învățat un bias istoric

În 2018, Reuters a relatat că Amazon construise un instrument experimental de machine learning care evalua CV-urile candidaților. Fusese antrenat pe CV-urile trimise companiei pe o perioadă de zece ani, cele mai multe venite de la bărbați, reflectând industria tehnologică.

Potrivit relatării, modelul a învățat să depuncteze CV-urile care conțineau cuvântul „women's” (al femeilor), ca în „căpitanul clubului de șah al femeilor”, și i-a retrogradat pe absolvenții a două colegii exclusiv pentru femei. Amazon a modificat sistemul ca să fie neutru față de acești termeni, dar, după cum a relatat Reuters, nu exista nicio garanție că nu va găsi alte căi de a discrimina. Proiectul a fost abandonat până la urmă. Amazon a declarat că instrumentul nu a fost folosit niciodată de recrutorii săi pentru evaluarea candidaților.

Lecția: modelul a făcut exact ce fusese antrenat să facă: a reprodus tiparele din datele istorice. Testarea echității, cu evaluare pe segmente și teste contrafactuale, trebuie proiectată intenționat, pentru că acuratețea agregată nu o va dezvălui niciodată.

Testarea sistemului din jurul modelului

Majoritatea defecțiunilor ML din producție vin din sistemul din jur, nu din matematica modelului. O grilă Google, „The ML Test Score” (Breck et al., 2017), enumeră teste pentru date, dezvoltarea modelului, infrastructură și monitorizare. Exemple:

  • Decalajul antrenare–servire (training–serving skew): caracteristici calculate diferit la antrenare și în producție.
  • Teste de pipeline: pipeline-ul de antrenare rulează cap-coadă pe un eșantion mic; un model nou nu poate fi lansat fără să treacă de gate-urile de evaluare.
  • Soluții de rezervă: ce se întâmplă dacă serviciul modelului e lent sau căzut ori întoarce rezultate cu încredere scăzută?
  • Reproductibilitate: poți reconstrui un model din date, cod și configurație versionate?
  • Lansare în umbră și canary: rulezi un model nou alături de cel vechi, pe trafic real, și le compari înainte să faci schimbarea.

Monitorizarea: testarea nu se oprește

  • Deriva datelor (data drift): datele de intrare se schimbă, de exemplu produse noi, o populație nouă de utilizatori sau o schimbare sezonieră.
  • Deriva conceptului (concept drift): se schimbă relația dintre datele de intrare și răspunsul corect, de exemplu tiparele de fraudă care se adaptează la model.
  • Monitorizarea rezultatelor: când etichetele reale sosesc mai târziu (chargeback-uri, retururi), compară-le cu predicțiile, pe segmente.

Stabilește praguri și alerte și tratează deriva ca pe un declanșator pentru reevaluare și reantrenare.

Așa da

Să raportezi calitatea modelului pe segmente și pe cost de business: „Recall pentru fraudă 92% în total, dar 61% pentru clienții noi din România, unde pierderile sunt cele mai mari.”

Așa nu

Să aprobi un model pentru că o singură metrică agregată s-a îmbunătățit. Mediile ascund grupurile și cazurile în care modelul cedează.

Verifică-te

Un model de aprobare a creditelor arată 94% acuratețe pe setul de test. Ce trei teste suplimentare ai cere înainte de lansare?

Arată răspunsul

De exemplu: evaluarea pe segmente a ratelor de eroare pentru grupurile relevante (categorie de vârstă, regiune, categorie de venit, clienți noi vs. existenți); teste contrafactuale de echitate, în care schimbi doar un atribut sensibil sau un substitut și verifici că decizia nu se schimbă; teste de robustețe și invarianță, în care schimbările mici și irelevante nu răstoarnă deciziile. Verifică și setul de test pentru scurgeri de informație și reprezentativitate și definește monitorizarea derivei pentru producție.