lit-3.7 - Online en la nube

PROGRAMA:

NOMBRE

iluminado - Comprobador integrado LLVM

SINOPSIS

lit [opciones] [pruebas]

DESCRIPCIÓN

lit es una herramienta portátil para ejecutar conjuntos de pruebas de estilo LLVM y Clang, que resume sus
resultados y proporcionar indicaciones de fallas. lit está diseñado para ser un peso ligero
herramienta de prueba con una interfaz de usuario lo más simple posible.

lit debe ejecutarse con uno o más pruebas para ejecutar especificado en la línea de comando. Las pruebas pueden
ser archivos de prueba individuales o directorios para buscar pruebas (ver PROBAR DESCUBRIMIENTO).

Cada prueba especificada se ejecutará (potencialmente en paralelo) y una vez que todas las pruebas hayan
ha sido ejecutado lit imprimirá información resumida sobre el número de pruebas que pasaron o fallaron
(consulta: PROBAR ESTADO RESULTADOS). La lit El programa se ejecutará con un código de salida distinto de cero, si lo hay.
las pruebas fallan.

Por defecto lit utilizará una pantalla de progreso sucinta y solo imprimirá un resumen
información para fallas en las pruebas. Ver SALIDA CAMPUS para las opciones que controlan el lit
visualización de progreso y salida.

lit También incluye una serie de opciones para controlar cómo se ejecutan las pruebas (específicas
las funciones pueden depender del formato de prueba particular). Ver EJECUCIÓN CAMPUS
información.

Finalmente, lit también admite opciones adicionales para ejecutar solo un subconjunto de las opciones
especificado en la línea de comando, consulte SELECCIÓN CAMPUS para obtener más información.

Usuarios interesados ​​en el lit arquitectura o diseñando un lit la implementación de la prueba debe
ver ILUMINADO INFRAESTRUCTURA.

GENERAL CAMPUS

-h, --ayuda
Mostrar la lit mensaje de ayuda.

-j N, - hilos = N
Ejecutar N pruebas en paralelo. De forma predeterminada, esto se elige automáticamente para que coincida con el
número de CPU disponibles detectadas.

--config-prefix = NOMBRE
Busque NOMBRE.cfg y NOMBRE.sitio.cfg cuando búsqueda para test suites, of
iluminado.cfg y iluminado.sitio.cfg.

-D NOMBRE, -D NOMBRE = VALOR, --param NOMBRE, --param NOMBRE = VALOR
Agregar un parámetro definido por el usuario NOMBRE con lo dado VALOR (o la cadena vacía si no
dado). El significado y uso de estos parámetros depende del conjunto de pruebas.

SALIDA CAMPUS

-q, --tranquilo
Suprima cualquier salida excepto las fallas de prueba.

-s, --sucinto
Muestra menos resultados, por ejemplo, no muestra información sobre las pruebas que pasan.

-v, --verboso
Mostrar más información sobre las fallas de la prueba, por ejemplo, la salida completa de la prueba en su lugar
de solo el resultado de la prueba.

--no-barra-de-progreso
No uses la barra de progreso basada en maldiciones.

--mostrar sin soporte
Muestre los nombres de las pruebas no admitidas.

--mostrar-xfail
Muestre los nombres de las pruebas que se esperaba que fallaran.

EJECUCIÓN CAMPUS

--ruta = RUTA
Especifique un adicional TRAYECTORIA para usar al buscar ejecutables en pruebas.

--vg Ejecute pruebas individuales en valgrind (utilizando la herramienta Memcheck). los
--error-código de salida El argumento para valgrind se usa para que las fallas de valgrind causen
el programa para salir con un estado distinto de cero.

Cuando esta opción está habilitada, lit también proporcionará automáticamente un "Valgrind"
característica que se puede usar para deshabilitar condicionalmente (o esperar fallas en) ciertos
pruebas.

--vg-arg = ARG
Cuándo --vg se utiliza, especifique un argumento adicional para pasar a Valgrind misma.

--vg-fuga
Cuándo --vg se utiliza, habilite las comprobaciones de fugas de memoria. Cuando esta opción está habilitada, lit
también proporcionará automáticamente un "vg_fuga"función que se puede utilizar para
deshabilitar condicionalmente (o esperar fallas en) ciertas pruebas.

- pruebas de tiempo
Realice un seguimiento del tiempo que tardan en ejecutarse las pruebas individuales e incluye los resultados en
la salida resumida. Esto es útil para determinar qué pruebas en un conjunto de pruebas
tomar la mayor parte del tiempo para ejecutar. Tenga en cuenta que esta opción es más útil con -j 1.

SELECCIÓN CAMPUS

--máx-pruebas = N
Corre como máximo N pruebas y luego finalizar.

--max-time = N
Gasta como máximo N segundos (aproximadamente) ejecutando pruebas y luego finalizar.

--barajar
Ejecute las pruebas en orden aleatorio.

ADICIONAL CAMPUS

--depurar
Ejecutar lit en modo de depuración, para depurar problemas de configuración y lit misma.

- show-suites
Enumere las suites de prueba descubiertas y salga.

--mostrar-pruebas
Enumere todas las pruebas descubiertas y salga.

SALIR ESTADO

lit saldrá con un código de salida de 1 si hay algún resultado FAIL o XPASS. De lo contrario,
saldrá con el estado 0. Se utilizan otros códigos de salida para fallas no relacionadas con la prueba
(por ejemplo, un error del usuario o un error interno del programa).

PROBAR DESCUBRIMIENTO

Las entradas pasadas a lit pueden ser pruebas individuales o directorios completos o
jerarquías de pruebas para ejecutar. Cuando lit arranca, lo primero que hace es convertir el
entradas en una lista completa de pruebas para ejecutar como parte de test descubrimiento.

En lit modelo, cada prueba debe existir dentro de algún test suite. lit resuelve las entradas
especificado en la línea de comando para probar suites buscando hacia arriba desde la ruta de entrada
hasta que encuentra un iluminado.cfg or iluminado.sitio.cfg expediente. Estos archivos sirven como marcador de prueba
suites y como archivos de configuración que lit cargas para entender cómo encontrar y
ejecutar las pruebas dentro de la suite de pruebas.

En el momento que todos los DARWINs coticen incluyendo los deslizamientos lit ha mapeado las entradas en suites de prueba, atraviesa la lista de entradas agregando
pruebas para archivos individuales y búsqueda recursiva de pruebas en directorios.

Este comportamiento facilita la especificación de un subconjunto de pruebas para ejecutar, al mismo tiempo que permite
configuración de la suite de pruebas para controlar exactamente cómo se interpretan las pruebas. Además, lit
siempre identifica las pruebas por el conjunto de pruebas en el que se encuentran y su ruta relativa dentro de la
Banco de pruebas. Para proyectos configurados apropiadamente, esto permite lit para proporcionar conveniente
y soporte flexible para construcciones fuera del árbol.

PROBAR ESTADO RESULTADOS

Cada prueba finalmente produce uno de los siguientes seis resultados:

PASS
La prueba tuvo éxito.

XFALLO
La prueba falló, pero eso se esperaba. Se utiliza para formatos de prueba que permiten
especificando que una prueba no funciona actualmente, pero desea dejarla en la suite de pruebas.

Xpass
La prueba tuvo éxito, pero se esperaba que fallara. Esto se utiliza para pruebas que fueron
especificado como se esperaba que fallara, pero ahora están teniendo éxito (generalmente porque la función
la prueba se rompió y se ha reparado).

FALLO
La prueba falló.

IRRESOLUTO
No se pudo determinar el resultado de la prueba. Por ejemplo, esto ocurre cuando la prueba
no se puede ejecutar, la prueba en sí no es válida o la prueba se interrumpió.

SIN APOYO
La prueba no se admite en este entorno. Esto lo utilizan los formatos de prueba que pueden
informar pruebas no admitidas.

Dependiendo del formato de la prueba, las pruebas pueden producir información adicional sobre su estado.
(generalmente solo para fallas). Ver el SALIDA CAMPUS sección para más información.

ILUMINADO INFRAESTRUCTURA

Esta sección describe el lit arquitectura de prueba para usuarios interesados ​​en crear una nueva
lit probar la implementación o ampliar una existente.

lit adecuada es principalmente una infraestructura para descubrir y ejecutar pruebas arbitrarias, y
para exponer una única interfaz conveniente a estas pruebas. lit en sí mismo no sabe correr
pruebas, más bien esta lógica se define por test suites.

PROBAR SUITES
Como se describe en PROBAR DESCUBRIMIENTO, las pruebas siempre se encuentran dentro de un test suite. Suites de prueba
sirven para definir el formato de las pruebas que contienen, la lógica para encontrar esas pruebas,
y cualquier información adicional para ejecutar las pruebas.

lit identifica las suites de prueba como directorios que contienen iluminado.cfg or iluminado.sitio.cfg archivos (ver
también --config-prefijo). Los conjuntos de pruebas se descubren inicialmente mediante la búsqueda recursiva
la jerarquía de directorios para todos los archivos de entrada pasados ​​en la línea de comando. Puedes usar
- show-suites para mostrar las suites de prueba descubiertas al inicio.

Una vez que se descubre un conjunto de pruebas, se carga su archivo de configuración. Los propios archivos de configuración son
Módulos de Python que se ejecutarán. Cuando se ejecuta el archivo de configuración, dos importantes
las variables globales están predefinidas:

iluminado_config
El mundial lit objeto de configuración (un configuración iluminada instancia), que define la función incorporada
formatos de prueba, parámetros de configuración global y otras rutinas de ayuda para
implementación de configuraciones de prueba.

config
Este es el objeto de configuración (un Configuración de prueba instancia) para el conjunto de pruebas, que el
Se espera que el archivo de configuración se complete. Las siguientes variables también están disponibles en el
config objeto, algunos de los cuales deben ser establecidos por la configuración y otros son opcionales o
predefinido:

nombre [requerido] El nombre del conjunto de pruebas, para su uso en informes y diagnósticos.

formato_de_prueba [requerido] El objeto de formato de prueba que se utilizará para descubrir y ejecutar
pruebas en la suite de pruebas. Generalmente, este será un formato de prueba integrado disponible en
las formatos iluminados módulo.

raíz_fuente_prueba La ruta del sistema de archivos a la raíz de la suite de pruebas. Para compilaciones fuera de directorio
este es el directorio que se escaneará en busca de pruebas.

raíz_exec_prueba Para compilaciones fuera de directorio, la ruta a la raíz del conjunto de pruebas dentro del objeto
directorio. Aquí es donde se ejecutarán las pruebas y se colocarán los archivos de salida temporales.

entorno Un diccionario que representa el entorno que se utilizará al ejecutar pruebas en
la suite.

sufijos lit formatos de prueba que escanean directorios en busca de pruebas, esta variable es una lista
de sufijos para identificar archivos de prueba. Usado por: ShPrueba.

sustituciones lit formatos de prueba que sustituyen variables en un script de prueba, el
lista de sustituciones a realizar. Usado por: ShPrueba.

sin soporte Marque un directorio no admitido, todas las pruebas dentro de él se informarán como
sin apoyo. Usado por: ShPrueba.

con el futuro bebé La configuración principal, este es el objeto de configuración para el directorio que contiene
el conjunto de pruebas, o Ninguno.

raíz La configuración raíz. Este es el más alto lit configuración en el proyecto.

tubería Normalmente, una prueba que usa una tubería de shell falla si alguno de los comandos en la tubería
fallar. Si esto no se desea, establecer esta variable en falso hace que la prueba solo falle
si falla el último comando en la tubería.

PROBAR DESCUBRIMIENTO
Una vez que se encuentran las suites de prueba, lit atraviesa de forma recursiva el directorio de origen (siguiendo
raíz_fuente_prueba) buscando pruebas. Cuando lit entra en un subdirectorio, primero comprueba
ver si se define un conjunto de pruebas anidado en ese directorio. Si es así, carga ese conjunto de pruebas
de forma recursiva, de lo contrario, crea una instancia de configuración de prueba local para el directorio (consulte LOCAL
CONFIGURACIÓN ARCHIVOS).

Las pruebas se identifican por el conjunto de pruebas en el que están contenidas y la ruta relativa
dentro de esa suite. Tenga en cuenta que la ruta relativa puede no referirse a un archivo real en el disco;
algunos formatos de prueba (como Prueba de Google) definir "pruebas virtuales" que tienen una ruta que
contiene tanto la ruta al archivo de prueba real como una subruta para identificar la prueba virtual.

LOCAL CONFIGURACIÓN ARCHIVOS
Cuándo lit carga un subdirectorio en un conjunto de pruebas, instancia una configuración de prueba local
clonando la configuración para el directorio principal --- la raíz de esta configuración
La cadena siempre será una suite de pruebas. Una vez que se clona la configuración de prueba lit cheques para un
iluminado.local.cfg archivo en el subdirectorio. Si está presente, este archivo se cargará y se puede
se utiliza para especializar la configuración de cada directorio individual. Esta facilidad puede ser
se utiliza para definir subdirectorios de pruebas opcionales o para cambiar otra configuración
parámetros --- por ejemplo, para cambiar el formato de la prueba, o los sufijos que identifican la prueba
archivos.

PROBAR CORRE SALIDA FORMATO
El lit la salida para una ejecución de prueba se ajusta al siguiente esquema, tanto en forma breve como detallada
modos (aunque en el modo corto no se mostrarán líneas PASS). Este esquema ha sido elegido
para ser relativamente fácil de analizar de manera confiable por una máquina (por ejemplo, en el registro de buildbot
raspado) y otras herramientas para generar.

Se espera que cada resultado de la prueba aparezca en una línea que coincida con:

: ( )

donde es un resultado de prueba estándar como PASS, FAIL, XFAIL, XPASS,
SIN RESOLVER o SIN APOYO. Los códigos de resultado de rendimiento de MEJORADO y REGRESADO son
también permitido.

El <prueba nombre> El campo puede consistir en una cadena arbitraria que no contenga una nueva línea.

El <progreso info> El campo se puede usar para reportar información de progreso como (1/300) o
puede estar vacío, pero incluso cuando está vacío, los paréntesis son obligatorios.

Cada resultado de la prueba puede incluir información de registro adicional (multilínea) en lo siguiente
formato:

PRUEBA '( ) '
... mensaje de registro ...


donde <prueba nombre> debe ser el nombre de una prueba informada anterior, <registro delineador> es un
cadena de caracteres "*" at menos cuatro caracteres (la longitud recomendada es 20), y
<final delineador> es una cadena arbitraria (sin analizar).

El siguiente es un ejemplo de un resultado de ejecución de prueba que consta de cuatro pruebas A, B, C y
D, y un mensaje de registro para la prueba C fallida:

APROBADO: A (1 de 4)
APROBADO: B (2 de 4)
FALLO: C (3 de 4)
******************** PRUEBA 'C' FALLIDA ********************
La prueba 'C' falló como resultado del código de salida 1.
********************
APROBADO: D (4 de 4)

ILUMINADO EJEMPLO TESTS
El lit La distribución contiene varias implementaciones de ejemplo de conjuntos de pruebas en el
Ensayos de ejemplo directorio.

Utilice lit-3.7 en línea utilizando los servicios de onworks.net