Testare Software

Parcurs: Expert · lecția 4 din 21

ExpertProiectarea testelor6 min de cititPublicat 12 noiembrie 2026

Oracolele de test: de unde știi că rezultatul e corect?

Să rulezi un test e ușor; să decizi dacă rezultatul lui e corect e partea grea. Asta e problema oracolului. Iată tipurile de oracole folosite de testeri, de la specificații la oracole diferențiale și euristice, și cum te poate păcăli fiecare.

Pe această pagină

De reținut

  • Un oracol de test este mecanismul care decide dacă un comportament observat e corect. Fără un oracol bun, mai multe teste produc doar mai multe rezultate neverificate.
  • Oracolele vin în familii: specificate (cerințe, aserțiuni, contracte), derivate (versiuni anterioare, alte implementări, relații între rulări), implicite (crash-uri, blocaje, erori de memorie) și umane/euristice.
  • Fiecare oracol e parțial și failibil. Știi ce poate și ce nu poate detecta fiecare și combină-le.

De unde pornim

Fiecare caz de test are un câmp „rezultat așteptat”, iar cazurile de test bune îl completează cu valori precise. Dar pentru multe sisteme nimeni nu poate scrie valoarea așteptată: clasamente de căutare, simulări, modele de machine learning, calcule complexe, randare. Earl Barr, Mark Harman și colegii lor au numit-o problema oracolului într-un studiu de sinteză din 2015 și au arătat că e unul dintre obstacolele centrale în automatizarea testării.

Familii de oracole

FamilieCum decideExemplePuncte oarbe
SpecificatCompară cu o așteptare declaratăValori așteptate în cazurile de test, aserțiuni, precondiții și postcondiții (design by contract), schemeE doar atât de bun cât specificația; ratează ce n-a specificat nimeni
Derivat: regresie / golden masterCompară cu rezultatul unei versiuni anterioareTeste de tip snapshot, approval testingAprobă bug-urile vechi; zgomotos când rezultatul se schimbă legitim
Derivat: diferențialCompară cu o altă implementare a aceluiași lucruDouă parsere JSON, motorul de prețuri vechi și cel nou, o implementare de referință lentăAmbele implementări pot avea același bug
Derivat: metamorficVerifică relații între rezultatele unor intrări înruditeSortarea de două ori a unei liste dă același rezultat; un filtru irelevant nu schimbă totalurileDetectează doar încălcări ale relațiilor alese
ImplicitDetectează comportamente greșite universalCrash-uri, excepții, timeout-uri, erori de memorie (sanitizere), erori 500, aserțiuni eșuateNu spune nimic despre rezultatele greșite, dar plauzibile
Uman / euristicUn om judecă, cu cunoștințe și euristiciTestare exploratorie, review-uri, sesiuni de usabilityCostisitor, inconsecvent, supus bias-urilor

Oracolele specificate: fă așteptările executabile

Cele mai puternice oracole de zi cu zi trăiesc în interiorul codului și al testelor:

  • Aserțiuni și invarianți: „soldul nu e niciodată negativ”, „totalul e egal cu suma liniilor”.
  • Contracte: precondiții și postcondiții pe funcții și API-uri.
  • Scheme: răspunsurile API validate față de OpenAPI sau JSON Schema.

Transformă fiecare test, inclusiv cele aleatoare și generate, într-o verificare față de reguli cu sens, nu doar „n-a dat crash”.

Oracolele derivate: când nu poți spune răspunsul

Oracole de regresie și de aprobare

Înregistrezi rezultatul unei versiuni de încredere și compari rulările viitoare cu el. E foarte eficient pentru detectarea schimbării, dar nu poate deosebi schimbarea bună de cea rea. Un golden master aprobat cu un bug în el va apăra acel bug ani la rând.

Testarea diferențială

Rulezi aceleași date de intrare prin două implementări și compari. E des întâlnită pentru compilatoare, parsere, baze de date și migrări, unde sistemul vechi e referința pentru cel nou.

O idee înrudită este pseudo-oracolul: o versiune scrisă independent și mai simplă a calculului, folosită doar ca să-l verifice pe cel real. Poate fi lentă; trebuie doar să fie corectă.

Oracole parțiale și statistice

Uneori nu poți ști răspunsul exact, dar îl poți încadra: un traseu nu poate fi mai scurt decât distanța în linie dreaptă; probabilitățile au suma 1; un preț prezis ar trebui să fie într-un interval plauzibil. Oracolele parțiale prind ieftin erorile grosolane.

Oracolele implicite: gratuite și prea puțin folosite

Crash-urile, excepțiile netratate, timeout-urile, coruperea memoriei și erorile HTTP 500 sunt mereu greșite. Unelte precum sanitizerele de adrese și de comportament nedefinit transformă erorile de memorie tăcute în defecțiuni zgomotoase. Campaniile de fuzzing se bazează aproape în întregime pe oracole implicite.

Asigură-te că sunt pornite în rulările de test: pică testele la erori neașteptate în log-uri, activează sanitizerele în build-urile de test și tratează orice 5xx ca eșec în testele de API.

Oracolele euristice: cum judecă oamenii

Testerii cu experiență recunosc problemele prin inconsecvență. Michael Bolton și James Bach rezumă aceste euristici în acronimul FEW HICCUPPS. Un produs ar trebui să fie consecvent cu istoricul lui (History), imaginea lui (Image), produsele comparabile (Comparable products), afirmațiile făcute despre el (Claims), așteptările utilizatorilor (User expectations), produsul însuși (Product), scopul lui (Purpose) și legile și standardele (Statutes). Ar trebui să fie consecvent și cu problemele familiare (Familiar problems), cu explicabilitatea (Explainability) și cu lumea reală (World).

Acestea nu dau un „trecut/picat”. Dau un motiv să bănuiești o problemă, pe care apoi o investighezi.

Exemplu real · Foaia de calcul Reinhart–Rogoff, 2013Un recalcul independent a găsit eroarea

Un articol din 2010 al economiștilor Carmen Reinhart și Kenneth Rogoff raporta că țările cu datorie publică de peste 90% din PIB au o creștere mult mai mică. A fost citat pe larg în dezbaterile despre austeritate.

În 2013, doctorandul Thomas Herndon a încercat să reproducă rezultatele pentru o temă de curs, împreună cu Michael Ash și Robert Pollin. Pornind de la foaia de calcul originală, au descoperit că intervalul unei formule lăsa pe dinafară cinci țări, pe lângă alte alegeri metodologice pe care le-au contestat. Cu corecturile lor, creșterea medie pentru țările cu datorie mare a ieșit pozitivă, nu negativă. Reinhart și Rogoff au recunoscut eroarea din foaia de calcul, dar au apărat alte părți ale analizei lor.

Lecția: rezultatele originale nu aveau un oracol independent. Un al doilea calcul, independent, care a funcționat ca pseudo-oracol, a găsit o eroare pe care ani de citări nu o găsiseră.

Cum alegi și combini oracolele

  1. Pentru fiecare zonă de testare, întreabă: de unde am ști că e greșit? Dacă răspunsul e „ne-am uita”, ai doar un oracol uman. Poți automatiza o parte?
  2. Pornește toate oracolele implicite posibile: sanitizere, verificarea erorilor din log-uri, verificarea codurilor de stare.
  3. Adaugă invarianți și contracte în cod pentru regulile care trebuie să fie mereu adevărate.
  4. Adaugă un oracol derivat acolo unde răspunsurile exacte nu pot fi cunoscute: diferențial, metamorfic sau parțial.
  5. Analizează snapshot-urile aprobate la fel de atent ca pe cod. A aproba unul e o decizie de proiectare a testelor.
  6. Măsoară puterea oracolelor, de exemplu prin testarea prin mutații: testele care execută codul fără să-i verifice serios rezultatul lasă mutanții să supraviețuiască.

Așa da

Când migrezi un motor de prețuri, rulează-l pe cel vechi și pe cel nou în paralel, pe comenzi reale (un oracol diferențial), și investighează fiecare diferență până e explicată.

Așa nu

Să consideri că un test a trecut pentru că a rulat fără erori. Fără un oracol care verifică rezultatul, un test execută cod, dar nu verifică nimic.

Verifică-te

Echipa ta testează un serviciu de planificare a traseelor. Nimeni nu poate spune care e traseul optim pentru orice date de intrare. Numește trei oracole pe care le poți folosi totuși.

Arată răspunsul

De exemplu: implicit (fără crash-uri sau timeout-uri; JSON valid); parțial (lungimea traseului ≥ distanța în linie dreaptă; traseul începe și se termină în punctele cerute; fiecare segment e un drum real); metamorfic (inversarea startului cu destinația pe drumuri simetrice dă aceeași lungime; adăugarea unui drum închis, fără legătură, nu schimbă rezultatul); diferențial (compari cu versiunea anterioară sau cu un algoritm exact, mai lent, pe hărți mici).