lit-3.7 - Интернет в облаке

ПРОГРАММА:

ИМЯ

горит - встроенный тестер LLVM

СИНТАКСИС

освещенный [кредита] [тестов]

ОПИСАНИЕ

освещенный - портативный инструмент для выполнения наборов тестов в стиле LLVM и Clang, обобщающий их
результаты и индикация отказов. освещенный разработан, чтобы быть легким
инструмент тестирования с максимально простым пользовательским интерфейсом.

освещенный должен запускаться с одним или несколькими тестов для запуска указано в командной строке. Тесты могут
быть либо отдельными тестовыми файлами, либо каталогами для поиска тестов (см. ИСПЫТАНИЕ DISCOVERY).

Каждый указанный тест будет выполняться (потенциально параллельно), и после того, как все тесты будут выполнены
был запущен освещенный напечатает сводную информацию о количестве пройденных или неудачных тестов
(См. ИСПЫТАНИЕ статус РЕЗУЛЬТАТЫ). освещенный программа будет выполняться с ненулевым кодом выхода, если есть
тесты терпят неудачу.

По умолчанию освещенный будет использовать краткое отображение прогресса и будет печатать только сводку
информация об ошибках тестирования. Видеть ВЫВОД ДОПОЛНИТЕЛЬНЫЕ УСЛУГИ, НЕ ВКЛЮЧЕННЫЕ В ПАКЕТ для опций, управляющих освещенный
отображение и вывод прогресса.

освещенный также включает ряд опций для управления выполнением тестов (специфические
функции могут зависеть от конкретного формата теста). Видеть ИСПОЛНЕНИЕ ДОПОЛНИТЕЛЬНЫЕ УСЛУГИ, НЕ ВКЛЮЧЕННЫЕ В ПАКЕТ для большего
Информация.

Наконец, освещенный также поддерживает дополнительные параметры для запуска только подмножества параметров
указано в командной строке, см. ВЫБОР ДОПОЛНИТЕЛЬНЫЕ УСЛУГИ, НЕ ВКЛЮЧЕННЫЕ В ПАКЕТ чтобы получить больше информации.

Пользователи, заинтересованные в освещенный архитектура или проектирование освещенный реализация тестирования должна
посмотреть LIT инфраструктура.

ОБЩАЯ ИНФОРМАЦИЯ ДОПОЛНИТЕЛЬНЫЕ УСЛУГИ, НЕ ВКЛЮЧЕННЫЕ В ПАКЕТ

-час, --Помогите
Показать освещенный справочное сообщение.

-j N, --threads = N
Run N тесты параллельно. По умолчанию это автоматически выбирается в соответствии с
количество обнаруженных доступных ЦП.

--config-prefix = ИМЯ
Найдите ИМЯ.cfg и ИМЯ.сайт.cfg когда поиск для тестXNUMX сьютов, вместо of
горит.cfg и лит.сайт.cfg.

-D ИМЯ, -D ИМЯ = ЗНАЧЕНИЕ, --парам ИМЯ, --парам ИМЯ = ЗНАЧЕНИЕ
Добавить параметр, определяемый пользователем ИМЯ с данным VALUE (или пустая строка, если нет
данный). Значение и использование этих параметров зависит от набора тестов.

ВЫВОД ДОПОЛНИТЕЛЬНЫЕ УСЛУГИ, НЕ ВКЛЮЧЕННЫЕ В ПАКЕТ

-д, --тихий
Подавить любой вывод, кроме ошибок теста.

-с, - сжатый
Показывать меньше результатов, например, не показывать информацию о пройденных тестах.

-в, --подробный
Показать дополнительную информацию об ошибках теста, например, вместо этого весь тестовый результат
просто результата теста.

--no-прогресс-бар
Не используйте индикатор выполнения на основе проклятий.

--show-unsupported
Показать названия неподдерживаемых тестов.

--show-xfail
Покажите названия тестов, которые должны были завершиться неудачей.

ИСПОЛНЕНИЕ ДОПОЛНИТЕЛЬНЫЕ УСЛУГИ, НЕ ВКЛЮЧЕННЫЕ В ПАКЕТ

--path = ПУТЬ
Укажите дополнительный PATH использовать при поиске исполняемых файлов в тестах.

--vg Запустите индивидуальные тесты под valgrind (с помощью инструмента memcheck). В
--error-exitcode аргумент для valgrind используется так, чтобы сбои valgrind вызывали
программа для выхода с ненулевым статусом.

Когда эта опция включена, освещенный также автоматически предоставит "Valgrind"
функция, которая может использоваться для условного отключения (или ожидания сбоя) определенных
тесты.

--vg-arg = ARG
После появления --vg используется, укажите дополнительный аргумент для передачи Valgrind себя.

--vg-утечка
После появления --vg используется, включите проверку утечки памяти. Когда эта опция включена, освещенный
также автоматически предоставит "vg_leak"функция, которую можно использовать для
условно отключить (или ожидать отказа) определенные тесты.

- тесты времени
Отслеживайте время, необходимое для выполнения отдельных тестов, и включайте результаты в
итоговый вывод. Это полезно для определения того, какие тесты в наборе тестов
требуется больше всего времени для выполнения. Обратите внимание, что эта опция наиболее полезна с -j 1.

ВЫБОР ДОПОЛНИТЕЛЬНЫЕ УСЛУГИ, НЕ ВКЛЮЧЕННЫЕ В ПАКЕТ

--max-tests = N
Беги не больше N тесты, а затем прекратить.

--max-time = N
Тратить не больше N секунд (приблизительно) запуска тестов, а затем прекратить.

- перемешать
Запускаем тесты в случайном порядке.

ДОПОЛНИТЕЛЬНЫЕ ДОПОЛНИТЕЛЬНЫЕ УСЛУГИ, НЕ ВКЛЮЧЕННЫЕ В ПАКЕТ

--отлаживать
Run освещенный в режиме отладки, для устранения проблем с конфигурацией и освещенный себя.

--шоу-люксы
Перечислите обнаруженные наборы тестов и выйдите.

--show-тесты
Перечислите все обнаруженные тесты и выйдите.

ВЫХОД статус

освещенный завершится с кодом выхода 1, если есть какие-либо результаты FAIL или XPASS. Иначе,
он выйдет со статусом 0. Другие коды выхода используются для сбоев, не связанных с тестированием.
(например, ошибка пользователя или внутренняя ошибка программы).

ИСПЫТАНИЕ DISCOVERY

Входы переданы в освещенный могут быть либо отдельные тесты, либо целые каталоги, либо
иерархии тестов для запуска. Когда освещенный запускается, первое, что он делает, это конвертирует
входные данные в полный список тестов для запуска как часть тестXNUMX открытие.

В освещенный модели, каждый тест должен существовать внутри некоторого тестXNUMX suite. освещенный разрешает входы
указанный в командной строке для тестирования наборов путем поиска вверх от входного пути
пока не найдет горит.cfg or лит.сайт.cfg файл. Эти файлы служат маркером теста.
наборы и как файлы конфигурации, которые освещенный грузы, чтобы понять, как найти и
запускать тесты внутри набора тестов.

Как только освещенный сопоставил входные данные с тестовыми наборами, он просматривает список входов, добавляя
тесты для отдельных файлов и рекурсивный поиск тестов в каталогах.

Такое поведение позволяет легко указать подмножество тестов для запуска, при этом позволяя
конфигурация набора тестов для точного управления интерпретацией тестов. Кроме того, освещенный
всегда идентифицирует тесты по набору тестов, в котором они находятся, и их относительному пути внутри
тестирование. Для правильно настроенных проектов это позволяет освещенный предоставить удобный
и гибкая поддержка нестандартных сборок.

ИСПЫТАНИЕ статус РЕЗУЛЬТАТЫ

Каждый тест в конечном итоге дает один из следующих шести результатов:

ПАСС
Тест прошел успешно.

XFAIL
Тест не удался, но этого следовало ожидать. Это используется для тестовых форматов, которые позволяют
указав, что тест в настоящее время не работает, но хотите оставить его в наборе тестов.

XPASS
Тест прошел успешно, но ожидалось, что он не удастся. Это используется для тестов, которые были
указано, как ожидалось, не удастся, но теперь успешно (обычно из-за того, что функция
у них тест был сломан и исправлен).

FAIL
Тест не удался.

НЕРЕШЕННЫЙ
Результат теста определить не удалось. Например, это происходит, когда тест может
не может быть запущен, сам тест недействителен или тест был прерван.

НЕПОДДЕРЖИВАЕМЫЙ
Тест не поддерживается в этой среде. Это используется тестовыми форматами, которые могут
сообщить о неподдерживаемых тестах.

В зависимости от формата теста тесты могут предоставлять дополнительную информацию об их статусе.
(в основном только при сбоях). Увидеть ВЫВОД ДОПОЛНИТЕЛЬНЫЕ УСЛУГИ, НЕ ВКЛЮЧЕННЫЕ В ПАКЕТ раздел для получения дополнительной информации.

LIT инфраструктура

Этот раздел описывает освещенный архитектура тестирования для пользователей, заинтересованных в создании нового
освещенный тестирование реализации или расширение существующей.

освещенный правильное - это прежде всего инфраструктура для обнаружения и запуска произвольных тестов, и
чтобы предоставить этим тестам единый удобный интерфейс. освещенный сам не умеет бежать
тесты, скорее эта логика определяется тестXNUMX люкс.

ИСПЫТАНИЕ SUITES
Как описано в ИСПЫТАНИЕ DISCOVERY, тесты всегда находятся внутри тестXNUMX suite. Наборы тестов
служат для определения формата содержащихся в них тестов, логики поиска этих тестов,
и любую дополнительную информацию для запуска тестов.

освещенный определяет наборы тестов как каталоги, содержащие горит.cfg or лит.сайт.cfg файлы (см.
Также --config-префикс). Наборы тестов первоначально обнаруживаются рекурсивным поиском
иерархия каталогов для всех входных файлов, передаваемых в командной строке. Вы можете использовать
--шоу-люксы для отображения обнаруженных наборов тестов при запуске.

После обнаружения набора тестов загружается его файл конфигурации. Сами файлы конфигурации
Модули Python, которые будут выполнены. Когда файл конфигурации запускается, два важных
глобальные переменные предопределены:

лит_конфигурация
Глобальный освещенный объект конфигурации (a ЛитКонфиг instance), который определяет встроенный
тестовые форматы, глобальные параметры конфигурации и другие вспомогательные процедуры для
реализация тестовых конфигураций.

конфиг
Это объект конфигурации (a Конфигурация тестирования instance) для набора тестов, который
config ожидается заполнение. Следующие переменные также доступны на
конфиг объект, некоторые из которых должны быть установлены конфигурацией, а другие необязательны или
предопределено:

имя [требуется] Имя набора тестов для использования в отчетах и ​​диагностике.

test_format [требуется] Объект тестового формата, который будет использоваться для обнаружения и запуска
тесты в комплекте тестов. Обычно это будет встроенный тестовый формат, доступный по адресу
домен лит. форматы модуль.

test_source_root Путь файловой системы к корню набора тестов. Для сборок вне каталога
это каталог, который будет проверяться на наличие тестов.

test_exec_root Для сборок вне каталога путь к корню набора тестов внутри объекта
каталог. Здесь будут запускаться тесты и размещаться временные выходные файлы.

охрана окружающей среды Словарь, представляющий среду для использования при выполнении тестов в
люкс.

суффиксы Что касается освещенный тестовые форматы, которые сканируют каталоги для тестов, эта переменная представляет собой список
суффиксов для идентификации тестовых файлов. Использован: ШТест.

замены Что касается освещенный тестовые форматы, которые заменяют переменные в тестовый сценарий,
список замен, которые нужно выполнить. Использован: ШТест.

не поддерживается Отметьте неподдерживаемый каталог, все тесты в нем будут отмечены как
неподдерживаемый. Использован: ШТест.

родителя Родительская конфигурация, это объект конфигурации для каталога, содержащего
набор тестов или Нет.

корень Корневая конфигурация. Это самый верхний освещенный конфигурация в проекте.

трубка Обычно тест с использованием канала оболочки завершается неудачно, если какая-либо из команд в канале
неудача. Если это нежелательно, установка для этой переменной значения false приведет только к сбою теста.
если последняя команда в конвейере не работает.

ИСПЫТАНИЕ DISCOVERY
Как только тестовые наборы будут найдены, освещенный рекурсивно просматривает исходный каталог (после
test_source_root) ищу тесты. Когда освещенный входит в подкаталог, сначала проверяет,
посмотрите, определен ли в этом каталоге вложенный набор тестов. Если это так, он загружает этот набор тестов.
рекурсивно, в противном случае он создает экземпляр локальной тестовой конфигурации для каталога (см. LOCAL
КОНФИГУРАЦИЯ FILES).

Тесты идентифицируются набором тестов, в котором они содержатся, и относительным путем.
внутри этого люкса. Обратите внимание, что относительный путь может не относиться к реальному файлу на диске;
некоторые тестовые форматы (например, GoogleТест) определяют "виртуальные тесты", путь которых
содержит как путь к фактическому файлу теста, так и подпуть для идентификации виртуального теста.

LOCAL КОНФИГУРАЦИЯ FILES
После появления освещенный загружает подкаталог в наборе тестов, он создает экземпляр локальной тестовой конфигурации
путем клонирования конфигурации для родительского каталога --- корня этой конфигурации
цепочка всегда будет набором тестов. После клонирования тестовой конфигурации освещенный проверяет наличие
лит.local.cfg файл в подкаталоге. Если он присутствует, этот файл будет загружен и может быть
используется для настройки конфигурации для каждого отдельного каталога. Этот объект может быть
используется для определения подкаталогов дополнительных тестов или для изменения другой конфигурации
параметры --- например, чтобы изменить формат теста, или суффиксы, которые идентифицируют тест
файлы.

ИСПЫТАНИЕ БЕГ ВЫВОД ФОРМАТ
Ассоциация освещенный вывод для тестового прогона соответствует следующей схеме, как кратко, так и подробно
режимы (хотя в коротком режиме строки PASS отображаться не будут). Эта схема была выбрана
быть относительно легким для надежного синтаксического анализа машиной (например, в журнале buildbot
соскабливание) и других инструментов для создания.

Ожидается, что каждый результат теста появится в строке, которая соответствует:

: ( )

в котором стандартный результат теста, такой как PASS, FAIL, XFAIL, XPASS,
НЕРЕШЕННЫЙ или НЕ ПОДДЕРЖИВАЕМЫЙ. Коды результата работы УЛУЧШЕНО и РЕГРЕССОРАТОР:
также разрешено

Ассоциация <тест имя> Поле может состоять из произвольной строки, не содержащей новой строки.

Ассоциация <прогресс информация> поле может использоваться для сообщения информации о ходе выполнения, например (1/300) или
может быть пустым, но даже если оно пусто, скобки обязательны.

Каждый результат теста может включать дополнительную (многострочную) информацию журнала в следующем
Формат:

ТЕСТОВОЕ ЗАДАНИЕ '( ) '
... сообщение журнала ...


в котором <тест имя> должно быть названием предыдущего зарегистрированного теста, <журнал разграничитель> - это
строка символов "*" at наименее четыре символа (рекомендуемая длина - 20), и
<конечный разграничитель> - произвольная (не проанализированная) строка.

Ниже приведен пример выходных данных тестового прогона, который состоит из четырех тестов A, B, C и
D и сообщение журнала для неудачного теста C:

ПРОЙДЕН: A (1 из 4)
ПРОЙДЕН: B (2 из 4)
ОТКАЗ: C (3 из 4)
******************** ТЕСТ 'C' НЕ ПРОШЕЛ ********************
Тест 'C' завершился неудачно из-за кода выхода 1.
********************
ПРОЙДЕН: D (4 из 4)

LIT ПРИМЕР ИСПЫТАНИЯ
Ассоциация освещенный дистрибутив содержит несколько примеров реализации наборов тестов в
Примеры тестов каталог.

Используйте lit-3.7 онлайн с помощью сервисов onworks.net