lit-3.8 - Online în cloud

PROGRAM:

NUME

aprins - Tester integrat LLVM

REZUMAT

pat [Opțiuni] [teste]

DESCRIERE

pat este un instrument portabil pentru executarea suitelor de testare în stil LLVM și Clang, rezumandu-le
rezultate și oferind indicații ale eșecurilor. pat este conceput pentru a fi ușor
instrument de testare cu o interfață de utilizator cât mai simplă posibil.

pat ar trebui să fie rulat cu unul sau mai multe teste pentru a rula specificat pe linia de comandă. Testele pot
fie fișiere de testare individuale sau directoare pentru a căuta teste (vezi TEST Descoperirea).

Fiecare test specificat va fi executat (potențial în paralel) și odată ce toate testele au avut
fost condus pat va tipări informații rezumative cu privire la numărul de teste care au trecut sau au eșuat
(A se vedea TEST STAREA REZULTATE). pat programul se va executa cu un cod de ieșire diferit de zero, dacă există
testele esueaza.

În mod implicit pat va folosi o afișare succintă a progresului și va tipări doar un rezumat
informații pentru eșecurile testelor. Vedea REZULTATE OPŢIUNI pentru opțiunile care controlează pat
afișarea progresului și ieșire.

pat include, de asemenea, o serie de opțiuni pentru controlul modului în care sunt executate testele (specifice
caracteristicile pot depinde de formatul de test special). Vedea EXECUŢIE OPŢIUNI pentru mai multe
informaţii.

În cele din urmă, pat acceptă, de asemenea, opțiuni suplimentare pentru rularea doar a unui subset de opțiuni
specificate pe linia de comandă, vezi SELECȚIE OPŢIUNI pentru mai multe informatii.

Utilizatorii interesați de pat arhitectură sau proiectare a pat implementarea testării ar trebui
vedea LIT INFRASTRUCTURĂ.

GENERAL OPŢIUNI

-h, --Ajutor
Arata pat mesaj de ajutor.

-j N, --fire=N
Alerga N teste în paralel. În mod implicit, acesta este ales automat pentru a se potrivi cu
numărul de procesoare disponibile detectate.

--config-prefix=NUME
Caută NUME.CFG și NUME.site.cfg cand căutare pentru test apartamente, in schimb of
lit.cfg și lit.site.cfg.

-D NUME, -D NAME=VALUE, --param NUME, --param NUME=VALOARE
Adăugați un parametru definit de utilizator NUME cu dat VALUE (sau șirul gol, dacă nu
dat). Semnificația și utilizarea acestor parametri depinde de suita de teste.

REZULTATE OPŢIUNI

-q, --Liniște
Suprimați orice ieșire, cu excepția eșecurilor testului.

-da, --succint
Afișați mai puține rezultate, de exemplu, nu afișați informații despre testele care trec.

-v, --verbos
Afișați mai multe informații despre eșecurile testului, de exemplu întreaga ieșire a testului
doar a rezultatului testului.

-A, --arata tot
Afișați mai multe informații despre toate testele, de exemplu întreaga linie de comandă a testului și
ieșire.

--no-progress-bar
Nu utilizați bara de progres bazată pe blesteme.

--show-unsupported
Afișați numele testelor neacceptate.

--show-xfail
Afișați numele testelor la care se aștepta să eșueze.

EXECUŢIE OPŢIUNI

--cale=CALE
Specificați un suplimentar PATH de utilizat atunci când se caută executabile în teste.

--vg Rulați teste individuale sub valgrind (folosind instrumentul memcheck). The
--error-exitcode argumentul pentru valgrind este folosit astfel încât eșecurile valgrind să provoace
programul să iasă cu o stare diferită de zero.

Când această opțiune este activată, pat va furniza automat, de asemenea, un „valgrind"
caracteristică care poate fi utilizată pentru dezactivarea condiționată (sau așteptarea eșecului în) anumite
teste.

--vg-arg=ARG
Cand --vg este utilizat, specificați un argument suplimentar căruia să îi transmiteți valgrind însăși.

--vg-scurgere
Cand --vg este utilizat, activați verificările scurgerilor de memorie. Când această opțiune este activată, pat
va furniza automat, de asemenea, un „vg_leak" caracteristică care poate fi folosită pentru
dezactivați condiționat (sau așteptați eșecul) anumitor teste.

--test-timp
Urmăriți timpul necesar testelor individuale pentru a fi executate și includeți rezultatele
rezultatul rezumat. Acest lucru este util pentru a determina ce teste dintr-o suită de teste
luați cel mai mult timp pentru a executa. Rețineți că această opțiune este cea mai utilă cu -j 1.

SELECȚIE OPŢIUNI

--max-teste=N
Aleargă cel mult N teste și apoi se încheie.

--max-time=N
Cheltuiește cel mult N secunde (aproximativ) executând teste și apoi se încheie.

--amesteca
Rulați testele într-o ordine aleatorie.

ADIŢIONAL OPŢIUNI

--depanare
Alerga pat în modul depanare, pentru probleme de configurare de depanare și pat însăși.

--show-suites
Enumerați seturile de teste descoperite și ieșiți.

--show-tests
Listați toate testele descoperite și ieșiți.

EXIT STAREA

pat va ieși cu un cod de ieșire de 1 dacă există rezultate FAIL sau XPASS. In caz contrar,
va ieși cu starea 0. Alte coduri de ieșire sunt utilizate pentru eșecurile care nu sunt legate de test
(de exemplu, o eroare de utilizator sau o eroare internă de program).

TEST Descoperirea

Intrările au fost transmise la pat pot fi fie teste individuale, fie directoare întregi sau
ierarhii de teste de rulat. Cand pat pornește, primul lucru pe care îl face este să convertească fișierul
intrări într-o listă completă de teste pentru a rula ca parte a test descoperire.

În pat model, fiecare test trebuie să existe în interiorul unora test suită. pat rezolvă intrările
specificat pe linia de comandă pentru a testa suitele căutând în sus din calea de intrare
până când găsește o lit.cfg or lit.site.cfg fişier. Aceste fișiere servesc atât ca un marker al testului
suite și ca fișiere de configurare care pat încărcături pentru a înțelege cum să găsești și
rulați testele în suita de teste.

Odată pat a mapat intrările în suite de testare, parcurge lista de intrări adăugate
teste pentru fișiere individuale și căutare recursiv pentru teste în directoare.

Acest comportament face ușoară specificarea unui subset de teste de rulat, permițând totodată
configurarea suitei de teste pentru a controla exact modul în care sunt interpretate testele. În plus, pat
identifică întotdeauna testele după suita de teste în care se află și calea lor relativă în interiorul
suită de teste. Pentru proiectele configurate corespunzător, acest lucru permite pat pentru a oferi convenabil
și suport flexibil pentru construcții în afara arborelui.

TEST STAREA REZULTATE

Fiecare test produce în cele din urmă unul dintre următoarele șase rezultate:

TRECERE
Testul a reușit.

XFAIL
Testul a eșuat, dar este de așteptat. Acesta este folosit pentru formatele de testare care permit
specificând că un test nu funcționează în prezent, dar doriți să îl lăsați în suita de teste.

XPASS
Testul a reușit, dar era de așteptat să eșueze. Acesta este folosit pentru testele care au fost
specificat ca de așteptat să eșueze, dar acum reușesc (în general, deoarece caracteristica
testul a fost rupt și a fost reparat).

FAIL
Testul nu a reușit.

NERESOLUȚIONAT
Rezultatul testului nu a putut fi determinat. De exemplu, acest lucru se întâmplă atunci când testul ar putea
nu poate fi rulat, testul în sine este invalid sau testul a fost întrerupt.

NESUPORTAT
Testul nu este acceptat în acest mediu. Acesta este folosit de formatele de testare care pot
raportați teste neacceptate.

În funcție de formatul de testare, testele pot produce informații suplimentare despre starea lor
(în general numai pentru eșecuri). Vezi REZULTATE OPŢIUNI secțiune pentru mai multe informații.

LIT INFRASTRUCTURĂ

Această secțiune descrie pat testarea arhitecturii pentru utilizatorii interesați să creeze un nou
pat testarea implementării sau extinderea uneia existente.

pat propriu-zis este în primul rând o infrastructură pentru descoperirea și rularea unor teste arbitrare și
pentru a expune o singură interfață convenabilă acestor teste. pat în sine nu știe să alerge
teste, mai degrabă această logică este definită de test Suites.

TEST SUITE
După cum este descris în TEST Descoperirea, testele sunt întotdeauna situate în interiorul a test suită. Suite de testare
servesc la definirea formatului testelor pe care le conțin, a logicii de găsire a acestor teste,
și orice informații suplimentare pentru a rula testele.

pat identifică suitele de testare ca directoare care conțin lit.cfg or lit.site.cfg fișiere (vezi
de asemenea --config-prefix). Suitele de testare sunt inițial descoperite prin căutări recursive
ierarhia directoarelor pentru toate fișierele de intrare transmise pe linia de comandă. Poți să folosești
--show-suites pentru a afișa suitele de testare descoperite la pornire.

Odată ce o suită de testare este descoperită, fișierul său de configurare este încărcat. Fișierele de configurare în sine sunt
Modulele Python care vor fi executate. Când fișierul de configurare este executat, două sunt importante
variabilele globale sunt predefinite:

lit_config
Global pat obiect de configurare (a LitConfig instanță), care definește builtin-ul
formate de testare, parametri globali de configurare și alte rutine de ajutor pentru
implementarea configurațiilor de testare.

config
Acesta este obiectul de configurare (a TestingConfig exemplu) pentru suita de teste, care
se așteaptă să se completeze fișierul de configurare. Următoarele variabile sunt, de asemenea, disponibile pe
config obiect, dintre care unele trebuie setate de config, iar altele sunt opționale sau
predefinit:

nume [necesar] Numele suitei de teste, pentru utilizare în rapoarte și diagnostice.

format_test [necesar] Obiectul format de testare care va fi folosit pentru a descoperi și rula
teste în suita de teste. În general, acesta va fi un format de testare încorporat disponibil de la
il lit.formate modul.

rădăcină_sursă_test Calea sistemului de fișiere către rădăcina suitei de testare. Pentru versiuni în afara directorului
acesta este directorul care va fi scanat pentru teste.

test_exec_root Pentru versiunile în afara dir, calea către rădăcina suitei de testare din interiorul obiectului
director. Aici vor fi rulate testele și vor fi plasate fișierele de ieșire temporare.

mediu inconjurator Un dicționar care reprezintă mediul de utilizat la executarea testelor în
suita.

sufixe Pentru pat formate de testare care scanează directoare pentru teste, această variabilă este o listă
de sufixe pentru identificarea fișierelor de testare. Folosit de: ShTest.

substituții Pentru pat formate de testare care înlocuiesc variabile într-un script de testare, the
lista de înlocuiri de efectuat. Folosit de: ShTest.

neacceptat Marcați un director neacceptat, toate testele din el vor fi raportate ca
nesuportat. Folosit de: ShTest.

mamă Configurația părinte, acesta este obiectul de configurare pentru directorul care conține
suita de teste sau Niciunul.

rădăcină Configurația rădăcină. Acesta este cel mai de sus pat configurație în proiect.

eşecul conductei În mod normal, un test folosind o țeavă shell eșuează dacă oricare dintre comenzile de pe conductă
eșuează. Dacă nu se dorește, setarea acestei variabile la fals face ca testul să eșueze numai
dacă ultima comandă din conductă eșuează.

TEST Descoperirea
Odată ce suitele de testare sunt localizate, pat traversează recursiv directorul sursă (urmează
rădăcină_sursă_test) caută teste. Cand pat intră într-un subdirector, mai întâi verifică
vezi dacă o suită de test imbricată este definită în acel director. Dacă da, se încarcă acea suită de teste
recursiv, altfel instanțiază o configurație de testare locală pentru director (vezi LOCAL
CONFIGURARE DOSARE).

Testele sunt identificate după suita de teste în care sunt conținute și calea relativă
în interiorul acelei suite. Rețineți că calea relativă poate să nu se refere la un fișier real de pe disc;
unele formate de testare (cum ar fi GoogleTest) definesc „testele virtuale” care au o cale care
conține atât calea către fișierul de testare real, cât și o cale secundară pentru a identifica testul virtual.

LOCAL CONFIGURARE DOSARE
Cand pat încarcă un subdirector într-o suită de testare, instanțiază o configurație de testare locală
prin clonarea configurației pentru directorul părinte --- rădăcina acestei configurații
lanțul va fi întotdeauna o suită de testare. Odată ce configurația de testare este clonată pat verifică pentru a
lit.local.cfg fișier în subdirector. Dacă este prezent, acest fișier va fi încărcat și poate fi
folosit pentru a specializa configurația pentru fiecare director individual. Această facilitate poate fi
folosit pentru a defini subdirectoare ale testelor opționale sau pentru a schimba altă configurație
parametrii --- de exemplu, pentru a schimba formatul testului sau sufixele care identifică testul
fișiere.

TEST ALERGA REZULTATE FORMAT
pat ieșirea pentru o rulare de testare este conformă cu următoarea schemă, atât pe scurt, cât și pe termen lung
moduri (deși în modul scurt nu vor fi afișate linii PASS). Această schemă a fost aleasă
să fie relativ ușor de analizat în mod fiabil de către o mașină (de exemplu, în jurnalul buildbot
răzuire) și pentru alte instrumente de generat.

Fiecare rezultat al testului este de așteptat să apară pe o linie care se potrivește cu:

: ( )

Unde este un rezultat standard al testului, cum ar fi PASS, FAIL, XFAIL, XPASS,
NERESOLUȚIONAT, sau NESUPS. Codurile de rezultat al performanței IMPROVED și REGRESSED sunt
de asemenea permis.

<test nume> câmpul poate consta dintr-un șir arbitrar care nu conține nicio linie nouă.

<progres info> câmpul poate fi folosit pentru a raporta informații despre progres, cum ar fi (1/300) sau
poate fi goală, dar chiar și atunci când sunt goale sunt necesare parantezele.

Fiecare rezultat al testului poate include informații suplimentare de jurnal (multilinie) în cele ce urmează
format:

TEST '( )'
... jurnal mesaj...


Unde <test nume> ar trebui să fie numele unui test raportat anterior, <log delineator> este
șir de caractere „*”. at cel mai puțin patru caractere (lungimea recomandată este de 20) și
<în urmă delineator> este un șir arbitrar (neparsat).

Următorul este un exemplu de ieșire de testare care constă din patru teste A, B, C și
D și un mesaj de jurnal pentru testul eșuat C:

PASS: A (1 din 4)
PASS: B (2 din 4)
ESCĂ: C (3 din 4)
******************** TESTUL „C” A ESCUT ********************
Testul „C” a eșuat ca urmare a codului de ieșire 1.
********************
PASS: D (4 din 4)

LIT EXEMPLU ÎNCERCĂRI
pat distribuția conține câteva exemple de implementări ale suitelor de testare în
Exemplu de teste director.

Utilizați lit-3.8 online folosind serviciile onworks.net