lit-3.8 - En ligne dans le Cloud

PROGRAMME:

Nom

allumé - Testeur intégré LLVM

SYNOPSIS

Allumé [Options] [tests]

DESCRIPTION

Allumé est un outil portable pour exécuter des suites de tests de style LLVM et Clang, résumant leur
résultats et en indiquant les échecs. Allumé est conçu pour être un poids léger
outil de test avec une interface utilisateur aussi simple que possible.

Allumé doit être exécuté avec un ou plusieurs tests à exécuter spécifié sur la ligne de commande. Les tests peuvent
être des fichiers de test individuels ou des répertoires pour rechercher des tests (voir TEST DÉCOUVERTE).

Chaque test spécifié sera exécuté (potentiellement en parallèle) et une fois que tous les tests auront
été exécuté Allumé imprimera des informations récapitulatives sur le nombre de tests réussis ou échoués
(voir TEST STATUT RÉSULTATS ). La Allumé le programme s'exécutera avec un code de sortie différent de zéro, le cas échéant
les tests échouent.

Par défaut Allumé utilisera un affichage de progression succinct et n'imprimera qu'un résumé
informations sur les échecs de test. Voir SORTIE OPTIONS pour les options contrôlant la Allumé
affichage et sortie de la progression.

Allumé inclut également un certain nombre d'options pour contrôler la façon dont les tests sont exécutés (spécifiques
les fonctionnalités peuvent dépendre du format de test particulier). Voir EXÉCUTION OPTIONS pour plus d'
</br>L’Information.

Enfin, Allumé prend également en charge des options supplémentaires pour n'exécuter qu'un sous-ensemble des options
spécifié sur la ligne de commande, voir SÉLECTION OPTIONS pour plus d'information.

Les utilisateurs intéressés par le Allumé l'architecture ou la conception d'un Allumé la mise en œuvre des tests devrait
sur le lien LIT INFRASTRUCTURE.

GÉNÉRAL OPTIONS

-h, --Aidez-moi
Afficher la Allumé message d'aide.

-j N, --threads=N
Courir N essais en parallèle. Par défaut, celui-ci est automatiquement choisi pour correspondre au
nombre de processeurs disponibles détectés.

--config-prefix=NOM
Rechercher Nom.cfg ainsi que Nom.site.cfg quand recherche en tester suites, plutôt ; of
lit.cfg ainsi que lit.site.cfg.

-D NOM -D NOM=VALEUR, --param NOM --param NOM = VALEUR
Ajouter un paramètre défini par l'utilisateur Nom avec le donné VALEURE (ou la chaîne vide sinon
étant donné). La signification et l'utilisation de ces paramètres dépendent de la suite de tests.

SORTIE OPTIONS

-q, --silencieux
Supprimez toute sortie, à l'exception des échecs de test.

-Oui, --succinct
Afficher moins de résultats, par exemple ne pas afficher d'informations sur les tests réussis.

-dans, --verbeux
Afficher plus d'informations sur les échecs de test, par exemple la sortie de test entière à la place
du seul résultat du test.

-une, --Afficher tout
Afficher plus d'informations sur tous les tests, par exemple l'intégralité de la ligne de commande de test et
sortie.

--pas de barre de progression
N'utilisez pas la barre de progression basée sur les malédictions.

--show-non pris en charge
Afficher les noms des tests non pris en charge.

--show-xfail
Affichez les noms des tests qui devaient échouer.

EXÉCUTION OPTIONS

--chemin=CHEMIN
Spécifiez un autre PATH à utiliser lors de la recherche d'exécutables dans les tests.

--vg Exécutez des tests individuels sous valgrind (à l'aide de l'outil memcheck). Les
--erreur-code de sortie l'argument pour valgrind est utilisé pour que les échecs de valgrind provoquent
le programme pour quitter avec un statut différent de zéro.

Lorsque cette option est activée, Allumé fournira également automatiquement un "valgrind"
fonction qui peut être utilisée pour désactiver (ou s'attendre à un échec dans) certaines conditions
Des tests.

--vg-arg=ARG
Quand --vg est utilisé, spécifiez un argument supplémentaire à passer à valgrind elle-même.

--vg-fuite
Quand --vg est utilisé, activez les contrôles de fuite de mémoire. Lorsque cette option est activée, Allumé
fournira également automatiquement un "fuite_vg" fonction qui peut être utilisée pour
désactiver conditionnellement (ou s'attendre à un échec dans) certains tests.

--temps-tests
Suivez le temps d'exécution des tests individuels et inclut les résultats dans
la sortie récapitulative. Ceci est utile pour déterminer quels tests dans une suite de tests
prennent le plus de temps à exécuter. Notez que cette option est plus utile avec -j 1.

SÉLECTION OPTIONS

--max-tests=N
Courir au maximum N tests puis s'arrêter.

--max-time=N
Dépenser au maximum N secondes (environ) d'exécution des tests, puis s'arrête.

--mélanger
Exécutez les tests dans un ordre aléatoire.

COMPLÉMENTAIRES OPTIONS

--déboguer
Courir Allumé en mode débogage, pour déboguer les problèmes de configuration et Allumé elle-même.

--show-suites
Répertoriez les suites de tests découvertes et quittez.

--show-tests
Répertoriez tous les tests découverts et quittez.

EXIT STATUT

Allumé sortira avec un code de sortie de 1 s'il y a des résultats FAIL ou XPASS. Autrement,
il sortira avec le statut 0. D'autres codes de sortie sont utilisés pour les échecs non liés au test
(par exemple une erreur d'utilisateur ou une erreur de programme interne).

TEST DÉCOUVERTE

Les entrées transmises à Allumé peut être soit des tests individuels, soit des répertoires entiers ou
hiérarchies de tests à exécuter. Lorsque Allumé démarre, la première chose qu'il fait est de convertir le
entrées dans une liste complète de tests à exécuter dans le cadre de tester découverte.

Dans le Allumé modèle, chaque test doit exister à l'intérieur d'un tester suite. Allumé résout les entrées
spécifié sur la ligne de commande pour tester les suites en recherchant vers le haut à partir du chemin d'entrée
jusqu'à ce qu'il trouve un lit.cfg or lit.site.cfg déposer. Ces fichiers servent à la fois de marqueur de test
suites et sous forme de fichiers de configuration qui Allumé charges afin de comprendre comment trouver et
exécuter les tests à l'intérieur de la suite de tests.

Une fois Allumé a mappé les entrées dans des suites de tests, il parcourt la liste des entrées en ajoutant
tests pour des fichiers individuels et recherche récursive de tests dans des répertoires.

Ce comportement permet de spécifier facilement un sous-ensemble de tests à exécuter, tout en permettant au
configuration de la suite de tests pour contrôler exactement comment les tests sont interprétés. En outre, Allumé
identifie toujours les tests par la suite de tests dans laquelle ils se trouvent et leur chemin relatif à l'intérieur du
suite de tests. Pour les projets correctement configurés, cela permet Allumé pour fournir pratique
et un support flexible pour les constructions hors de l'arbre.

TEST STATUT RÉSULTATS

Chaque test produit finalement l'un des six résultats suivants :

PASS
Le test a réussi.

XFAIL
Le test a échoué, mais c'est normal. Ceci est utilisé pour les formats de test qui permettent
en précisant qu'un test ne fonctionne pas actuellement, mais souhaitez le laisser dans la suite de tests.

Xpass
Le test a réussi, mais on s'attendait à ce qu'il échoue. Ceci est utilisé pour les tests qui ont été
spécifié comme prévu pour échouer, mais réussissent maintenant (généralement parce que la fonctionnalité
ils test a été cassé et a été corrigé).

FAIL
Le test a échoué.

NON RÉSOLU
Le résultat du test n'a pas pu être déterminé. Par exemple, cela se produit lorsque le test pourrait
pas être exécuté, le test lui-même n'est pas valide ou le test a été interrompu.

NON SUPPORTÉ
Le test n'est pas pris en charge dans cet environnement. Ceci est utilisé par les formats de test qui peuvent
signaler des tests non pris en charge.

Selon le format du test, les tests peuvent produire des informations supplémentaires sur leur statut
(généralement uniquement pour les échecs). Voir le SORTIE OPTIONS section pour plus d'informations.

LIT INFRASTRUCTURE

Cette section décrit les Allumé architecture de test pour les utilisateurs intéressés par la création d'un nouveau
Allumé tester la mise en œuvre ou étendre une version existante.

Allumé proprement dit est principalement une infrastructure pour découvrir et exécuter des tests arbitraires, et
pour exposer une seule interface pratique à ces tests. Allumé lui-même ne sait pas courir
tests, cette logique est plutôt définie par tester suites.

TEST SUITES
Comme décrit dans TEST DÉCOUVERTE, les tests sont toujours situés à l'intérieur d'un tester suite. Suites de tests
servent à définir le format des tests qu'ils contiennent, la logique de recherche de ces tests,
et toute information supplémentaire pour exécuter les tests.

Allumé identifie les suites de tests comme des répertoires contenant lit.cfg or lit.site.cfg fichiers (voir
aussi --config-préfixe). Les suites de tests sont initialement découvertes en recherchant récursivement
la hiérarchie des répertoires pour tous les fichiers d'entrée transmis sur la ligne de commande. Vous pouvez utiliser
--show-suites pour afficher les suites de tests découvertes au démarrage.

Une fois qu'une suite de tests est découverte, son fichier de configuration est chargé. Les fichiers de configuration eux-mêmes sont
modules Python qui seront exécutés. Lorsque le fichier de configuration est exécuté, deux importants
les variables globales sont prédéfinies :

lit_config
Le mondial Allumé objet de configuration (un LitConfig instance), qui définit la fonction intégrée
formats de test, paramètres de configuration globale et autres routines d'assistance pour
implémenter des configurations de test.

config
Il s'agit de l'objet de configuration (un Configuration des tests instance) pour la suite de tests, que le
config devrait se remplir. Les variables suivantes sont également disponibles sur le
config objet, dont certains doivent être définis par la configuration et d'autres sont facultatifs ou
prédéfini :

prénom [obligatoire] Le nom de la suite de tests, à utiliser dans les rapports et les diagnostics.

format_test [obligatoire] L'objet de format de test qui sera utilisé pour découvrir et exécuter
tests dans la suite de tests. Généralement, ce sera un format de test intégré disponible à partir de
le allumé.formats module.

racine_source_test Le chemin du système de fichiers vers la racine de la suite de tests. Pour les builds hors répertoire
c'est le répertoire qui sera analysé pour les tests.

racine_exec_test Pour les builds hors répertoire, le chemin d'accès à la racine de la suite de tests à l'intérieur de l'objet
annuaire. C'est là que les tests seront exécutés et les fichiers de sortie temporaires placés.

sûr, heureux et sain Un dictionnaire représentant l'environnement à utiliser lors de l'exécution des tests dans
la suite.

suffixes Pour Allumé formats de test qui scannent les répertoires pour les tests, cette variable est une liste
de suffixes pour identifier les fichiers de test. Utilisé par: ShTest.

substitutions Pour Allumé formats de test qui substituent des variables dans un script de test, le
liste des remplacements à effectuer. Utilisé par: ShTest.

non pris en charge Marquez un répertoire non pris en charge, tous les tests qu'il contient seront signalés comme
non pris en charge. Utilisé par: ShTest.

mère La configuration parent, c'est l'objet de configuration pour le répertoire contenant
la suite de tests, ou Aucun.

racine La configuration racine. C'est le plus haut Allumé configuration dans le projet.

panne de canalisation Normalement, un test utilisant un shell pipe échoue si l'une des commandes sur le pipe
échouer. Si cela n'est pas souhaité, la définition de cette variable sur false fait échouer le test uniquement
si la dernière commande du tube échoue.

TEST DÉCOUVERTE
Une fois les suites de tests localisées, Allumé parcourt récursivement le répertoire source (en suivant
racine_source_test) à la recherche de tests. Lorsque Allumé entre dans un sous-répertoire, il vérifie d'abord
voir si une suite de tests imbriquée est définie dans ce répertoire. Si c'est le cas, il charge cette suite de tests
récursivement, sinon il instancie une configuration de test locale pour le répertoire (voir L'APPROVISIONNEMENT
CONFIGURATION DES DOSSIERS).

Les tests sont identifiés par la suite de tests dans laquelle ils sont contenus et le chemin relatif
à l'intérieur de cette suite. Notez que le chemin relatif peut ne pas faire référence à un fichier réel sur le disque ;
certains formats de test (tels que GoogleTest) définissent des « tests virtuels » qui ont un chemin qui
contient à la fois le chemin d'accès au fichier de test réel et un sous-chemin pour identifier le test virtuel.

L'APPROVISIONNEMENT CONFIGURATION DES DOSSIERS
Quand Allumé charge un sous-répertoire dans une suite de tests, il instancie une configuration de test locale
en clonant la configuration du répertoire parent --- la racine de cette configuration
chaîne sera toujours une suite de tests. Une fois la configuration de test clonée Allumé vérifie un
allumé.local.cfg fichier dans le sous-répertoire. S'il est présent, ce fichier sera chargé et peut être
utilisé pour spécialiser la configuration pour chaque répertoire individuel. Cette installation peut être
utilisé pour définir des sous-répertoires de tests facultatifs, ou pour modifier une autre configuration
paramètres --- par exemple, pour changer le format du test, ou les suffixes qui identifient le test
fichiers.

TEST COURT SORTIE Format
La Allumé la sortie d'un test est conforme au schéma suivant, à la fois court et détaillé
modes (bien qu'en mode court, aucune ligne PASS ne soit affichée). Ce schéma a été choisi
être relativement facile à analyser de manière fiable par une machine (par exemple dans buildbot log
grattage) et pour d'autres outils à générer.

Chaque résultat de test devrait apparaître sur une ligne qui correspond à :

: ( )

De est un résultat de test standard tel que PASS, FAIL, XFAIL, XPASS,
NON RÉSOLU, ou NON PRIS EN CHARGE. Les codes de résultat de performance IMPROVED et REGRESSED sont
également autorisé.

La <tester nom> Le champ peut consister en une chaîne arbitraire ne contenant aucun saut de ligne.

La <progrès infos> peut être utilisé pour rapporter des informations de progression telles que (1/300) ou
peut être vide, mais même lorsqu'elles sont vides, les parenthèses sont obligatoires.

Chaque résultat de test peut inclure des informations de journal supplémentaires (multilignes) dans les
Format:

TEST '( )'
... message de journal ...


De <tester nom> doit être le nom d'un test signalé précédemment, <journal délinéateur> est une
chaîne de caractères "*" at au quatre caractères (la longueur recommandée est de 20), et
<fin délinéateur> est une chaîne arbitraire (non analysée).

Ce qui suit est un exemple de sortie de test qui se compose de quatre tests A, B, C et
D, et un message de journal pour l'échec du test C :

PASS : A (1 sur 4)
PASS : B (2 sur 4)
ÉCHEC : C (3 sur 4)
******************** ÉCHEC DU TEST 'C' ********************
Le test « C » a échoué en raison du code de sortie 1.
********************
PASS : D (4 sur 4)

LIT EXEMPLE ESSAIS
La Allumé distribution contient plusieurs exemples d'implémentations de suites de tests dans le
ExempleTests répertoire.

Utilisez lit-3.8 en ligne à l'aide des services onworks.net