lit-3.7 - Online nel cloud

PROGRAMMA:

NOME

acceso - Tester integrato LLVM

SINOSSI

lit [Opzioni] [test]

DESCRIZIONE

lit è uno strumento portatile per eseguire suite di test in stile LLVM e Clang, riassumendone
risultati e fornendo indicazioni sui fallimenti. lit è progettato per essere un peso leggero
strumento di test con un'interfaccia utente il più semplice possibile.

lit dovrebbe essere eseguito con uno o più test da eseguire specificato sulla riga di comando. I test possono
essere singoli file di test o directory per cercare i test (vedi TEST DISCOVERY).

Ogni test specificato verrà eseguito (potenzialmente in parallelo) e una volta che tutti i test saranno stati eseguiti
stato eseguito lit stamperà informazioni di riepilogo sul numero di test che hanno superato o fallito
(Vedi TEST STATUS RISULTATI). Il lit il programma verrà eseguito con un codice di uscita diverso da zero, se presente
i test falliscono.

Di default lit utilizzerà un display di avanzamento succinto e stamperà solo il riepilogo
informazioni per i test falliti. Vedere USCITA VERSIONI per le opzioni di controllo del lit
visualizzazione e output di avanzamento.

lit include anche una serie di opzioni per controllare come vengono eseguiti i test (specifici
caratteristiche possono dipendere dal particolare formato di test). Vedere ESECUZIONE VERSIONI per maggiori
informazioni.

Infine, lit supporta anche opzioni aggiuntive per eseguire solo un sottoinsieme delle opzioni
specificato sulla riga di comando, vedere SELEZIONE VERSIONI per maggiori informazioni.

Utenti interessati al lit architettura o progettazione a lit l'implementazione dei test dovrebbe
vedere ILLUMINATO INFRASTRUTTURE.

GENERALE VERSIONI

-H, --Aiuto
Mostra il lit messaggio di aiuto.

-j N, --thread=N
Correre N prove in parallelo. Per impostazione predefinita, questo viene scelto automaticamente in modo che corrisponda a
numero di CPU disponibili rilevate.

--config-prefix=NOME
Cercare NOME.cfg ed NOME.sito.cfg quando ricerca per test suite, invece of
lit.cfg ed lit.sito.cfg.

-D NAME, -D NOME=VALORE, --parami NAME, --parami NAME = VALUE
Aggiungi un parametro definito dall'utente NOME con il dato VALORE (o la stringa vuota in caso contrario
dato). Il significato e l'uso di questi parametri dipende dalla suite di test.

USCITA VERSIONI

-Q, --silenzioso
Sopprime qualsiasi output ad eccezione dei test falliti.

-S, --succinta
Mostra meno output, ad esempio non mostra informazioni sui test che passano.

-in, --verboso
Mostra più informazioni sugli errori del test, ad esempio l'intero output del test
del solo risultato del test.

--no-barra di avanzamento
Non utilizzare la barra di avanzamento basata su maledizioni.

--show-non supportato
Mostra i nomi dei test non supportati.

--show-xfail
Mostra i nomi dei test che si prevedeva fallissero.

ESECUZIONE VERSIONI

--percorso=PERCORSO
Specifica un'ulteriore PERCORSO da utilizzare durante la ricerca di eseguibili nei test.

--vg Esegui test individuali sotto valgrind (usando lo strumento memcheck). Il
--codice di uscita errore l'argomento per valgrind viene utilizzato in modo che i guasti di valgrind causino
il programma per uscire con uno stato diverso da zero.

Quando questa opzione è abilitata, lit fornirà automaticamente anche un "valgrind"
caratteristica che può essere utilizzata per disabilitare condizionalmente (o aspettarsi un fallimento in) certi
test.

--vg-arg=ARG
Quando --vg viene utilizzato, specificare un argomento aggiuntivo a cui passare valgrind stessa.

--vg-perdita
Quando --vg viene utilizzato, abilitare i controlli delle perdite di memoria. Quando questa opzione è abilitata, lit
fornirà automaticamente anche un "vg_leak" funzione che può essere utilizzata per
disabilitare condizionalmente (o aspettarsi un fallimento in) alcuni test.

--time-test
Tieni traccia del tempo impiegato dai singoli test per l'esecuzione e include i risultati in
l'output riassuntivo. Questo è utile per determinare quali test in una suite di test
impiegare più tempo per l'esecuzione. Nota che questa opzione è molto utile con -j 1.

SELEZIONE VERSIONI

--max-test=N
Corri al massimo N test e poi terminare.

--tempo-max=N
Spendi al massimo N secondi (circa) durante l'esecuzione dei test e quindi terminare.

--mescola
Eseguire i test in ordine casuale.

SUPPLEMENTARI VERSIONI

- debug
Correre lit in modalità debug, per il debug di problemi di configurazione e lit stessa.

--show-suite
Elenca le suite di test scoperte ed esci.

--show-test
Elenca tutti i test rilevati ed esci.

EXIT STATUS

lit uscirà con un codice di uscita 1 se ci sono risultati FAIL o XPASS. Altrimenti,
uscirà con lo stato 0. Altri codici di uscita vengono utilizzati per guasti non correlati al test
(ad esempio un errore dell'utente o un errore interno del programma).

TEST DISCOVERY

Gli ingressi passati a lit possono essere singoli test o intere directory o
gerarchie di test da eseguire. quando lit si avvia, la prima cosa che fa è convertire il
input in un elenco completo di test da eseguire come parte di test scoperta.

Nel lit modello, ogni test deve esistere all'interno di alcuni test suite. lit risolve gli input
specificato sulla riga di comando per testare le suite cercando verso l'alto dal percorso di input
finché non trova un lit.cfg or lit.sito.cfg file. Questi file servono sia come marker di test
suite e come file di configurazione che lit carichi per capire come trovare e
eseguire i test all'interno della suite di test.

Quando lit ha mappato gli input in suite di test attraversa l'elenco degli input aggiungendo
test per singoli file e ricerca ricorsiva di test nelle directory.

Questo comportamento semplifica la specifica di un sottoinsieme di test da eseguire, pur consentendo il
configurazione della suite di test per controllare esattamente come vengono interpretati i test. Inoltre, lit
identifica sempre i test in base alla suite di test in cui si trovano e il relativo percorso all'interno del
suite di prova. Per progetti opportunamente configurati, questo permette lit per fornire conveniente
e supporto flessibile per build fuori dall'albero.

TEST STATUS RISULTATI

Ogni test alla fine produce uno dei seguenti sei risultati:

PASSAGGIO
La prova è riuscita.

XFAIL
Il test è fallito, ma è previsto. Questo è usato per i formati di test che consentono
specificando che un test non funziona attualmente, ma desidera lasciarlo nella suite di test.

XPASS
Il test ha avuto successo, ma era previsto che fallisse. Questo è usato per i test che erano
specificato come previsto fallirà, ma ora ha esito positivo (generalmente perché la funzione
provano era rotto ed è stato risolto).

FAIL
Il test è fallito.

IRRISOLTO
Non è stato possibile determinare il risultato del test. Ad esempio, ciò si verifica quando il test potrebbe
non essere eseguito, il test stesso non è valido o il test è stato interrotto.

NON SUPPORTATO
Il test non è supportato in questo ambiente. Questo è usato dai formati di test che possono
segnalare test non supportati.

A seconda del formato del test, i test possono produrre informazioni aggiuntive sul loro stato
(generalmente solo per guasti). Vedi il USCITA VERSIONI sezione per ulteriori informazioni.

ILLUMINATO INFRASTRUTTURE

Questa sezione descrive il lit test dell'architettura per gli utenti interessati a creare un nuovo
lit testare l'implementazione o estenderne una esistente.

lit propriamente detta è principalmente un'infrastruttura per scoprire ed eseguire test arbitrari, e
per esporre un'unica comoda interfaccia a questi test. lit da solo non sa come correre
test, piuttosto questa logica è definita da test suites.

TEST SUITE
Come descritto nella TEST DISCOVERY, i test si trovano sempre all'interno di a test suite. Suite di prova
servono a definire il formato dei test che contengono, la logica per trovare tali test,
ed eventuali informazioni aggiuntive per eseguire i test.

lit identifica le suite di test come directory contenenti lit.cfg or lit.sito.cfg file (vedi
anche --config-prefisso). Le suite di test vengono inizialmente scoperte eseguendo ricerche ricorsive verso l'alto
la gerarchia di directory per tutti i file di input passati sulla riga di comando. Puoi usare
--show-suite per visualizzare le suite di test rilevate all'avvio.

Una volta scoperta una suite di test, il suo file di configurazione viene caricato. I file di configurazione stessi sono
Moduli Python che verranno eseguiti. Quando il file di configurazione viene eseguito, due importanti
le variabili globali sono predefinite:

lit_config
Il globale lit oggetto di configurazione (a LitConfig esempio), che definisce il builtin
formati di test, parametri di configurazione globali e altre routine di supporto per
implementazione di configurazioni di test.

config
Questo è l'oggetto di configurazione (a Configurazione test esempio) per la suite di test, che il
config dovrebbe essere popolato. Le seguenti variabili sono disponibili anche sul
config oggetto, alcuni dei quali devono essere impostati dalla configurazione e altri sono opzionali oppure
predefinito:

Nome [necessario] Il nome della suite di test, da utilizzare nei report e nella diagnostica.

formato_test [necessario] L'oggetto del formato di test che verrà utilizzato per rilevare ed eseguire
test nella suite di test. Generalmente questo sarà un formato di test integrato disponibile da
, il lit.formati modulo.

radice_origine_test Il percorso del filesystem alla radice della suite di test. Per build fuori directory
questa è la directory che verrà scansionata per i test.

test_exec_root Per le build fuori directory, il percorso alla radice della suite di test all'interno dell'oggetto
directory. Qui è dove verranno eseguiti i test e verranno inseriti i file di output temporanei.

ambiente Un dizionario che rappresenta l'ambiente da utilizzare durante l'esecuzione dei test in
la suite.

suffissi Nel lit formati di test che scansionano le directory per i test, questa variabile è una lista
di suffissi per identificare i file di test. Usato da: ShTest.

sostituzioni Nel lit formati di test che sostituiscono le variabili in uno script di test, il
elenco delle sostituzioni da eseguire. Usato da: ShTest.

supportato Contrassegna una directory non supportata, tutti i test al suo interno verranno segnalati come
non supportato. Usato da: ShTest.

genitore La configurazione padre, questo è l'oggetto di configurazione per la directory che contiene
la suite di test, o Nessuno.

radice La configurazione della radice. Questo è il più alto lit configurazione nel progetto.

tubo fallito Normalmente un test che utilizza una shell pipe fallisce se uno qualsiasi dei comandi sulla pipe
fallire. Se ciò non è desiderato, l'impostazione di questa variabile su false fa fallire solo il test
se l'ultimo comando nella pipe fallisce.

TEST DISCOVERY
Una volta individuate le suite di test, lit attraversa ricorsivamente la directory dei sorgenti (di seguito
radice_origine_test) in cerca di prove. quando lit entra in una sottodirectory, controlla prima di
vedere se in quella directory è definita una suite di test nidificata. Se è così, carica quella suite di test
ricorsivamente, altrimenti istanzia una configurazione di test locale per la directory (vedi LOCALE
CONFIGURAZIONE FILE).

I test sono identificati dalla suite di test in cui sono contenuti e dal relativo percorso
dentro quella suite. Si noti che il percorso relativo potrebbe non fare riferimento a un file effettivo su disco;
alcuni formati di test (come GoogleTest) definiscono "test virtuali" che hanno un percorso che
contiene sia il percorso del file di test effettivo che un sottopercorso per identificare il test virtuale.

LOCALE CONFIGURAZIONE FILE
Quando lit carica una sottodirectory in una suite di test, istanzia una configurazione di test locale
clonando la configurazione per la directory padre --- la radice di questa configurazione
chain sarà sempre una suite di test. Una volta clonata la configurazione di prova lit controlli per a
lit.local.cfg file nella sottodirectory. Se presente, questo file verrà caricato e può essere
utilizzato per specializzare la configurazione per ogni singola directory. Questa struttura può essere
utilizzato per definire sottodirectory di test opzionali o per modificare altre configurazioni
parametri --- ad esempio, per cambiare il formato del test, o i suffissi che identificano il test
File.

TEST CORRERE USCITA FORMATO
I lit l'output per un'esecuzione di test è conforme allo schema seguente, sia in breve che in dettaglio
modalità (sebbene in modalità breve non verranno mostrate linee PASS). Questo schema è stato scelto
essere relativamente facile da analizzare in modo affidabile da una macchina (ad esempio nel registro buildbot
raschiatura) e per altri strumenti da generare.

Ogni risultato del test dovrebbe apparire su una riga che corrisponde a:

: ( )

where è un risultato di test standard come PASS, FAIL, XFAIL, XPASS,
IRRISOLTO, o NON SUPPORTATO. I codici dei risultati delle prestazioni di MIGLIORATO e RIDOTTO sono
anche consentito.

I <prova nome> Il campo può essere costituito da una stringa arbitraria che non contiene newline.

I <progresso informazioni> può essere utilizzato per riportare informazioni sullo stato di avanzamento come (1/300) o
può essere vuoto, ma anche quando è vuoto le parentesi sono obbligatorie.

Ogni risultato del test può includere informazioni di registro aggiuntive (multilinea) di seguito
formato:

TEST '( )'
... messaggio di registro ...


where <prova nome> dovrebbe essere il nome di un test riportato in precedenza, <registro delineatore> è un
stringa di caratteri "*" at meno quattro caratteri (la lunghezza consigliata è 20), e
<finale delineatore> è una stringa arbitraria (non analizzata).

Di seguito è riportato un esempio di output di un'esecuzione di test che consiste in quattro test A, B, C e
D e un messaggio di registro per il test fallito C:

PASS: A (1 di 4)
PASS: B (2 di 4)
FALLIMENTO: C (3 di 4)
******************** TEST 'C' NON RIUSCITO ********************
Il test 'C' non è riuscito a causa del codice di uscita 1.
********************
PASS: D (4 di 4)

ILLUMINATO ESEMPIO PROVE
I lit La distribuzione contiene diverse implementazioni di esempio di suite di test nel
EsempioTest directory.

Usa lit-3.7 online utilizzando i servizi onworks.net