lit-3.7 - Онлайн у Хмарі

ПРОГРАМА:

ІМ'Я

lit - інтегрований тестер LLVM

СИНТАКСИС

ліжко [опції] [Тести]

ОПИС

ліжко є портативним інструментом для виконання наборів тестів у стилі LLVM і Clang, узагальнюючи їх
результати, а також надання вказівок на збої. ліжко розроблено, щоб бути легким
інструмент тестування з максимально простим інтерфейсом користувача.

ліжко слід виконувати з одним або кількома Тести для запуску, зазначеного в командному рядку. Тести можуть
бути або окремими тестовими файлами, або каталогами для пошуку тестів (див TEST DISCOVERY).

Кожен вказаний тест буде виконано (потенційно паралельно) і після виконання всіх тестів
запущено ліжко надрукує підсумкову інформацію про кількість тестів, які пройшли чи не пройшли
(Див. TEST СТАТУС РЕЗУЛЬТАТИ). ліжко програма буде виконуватися з ненульовим кодом виходу, якщо такий є
тести провалюються.

За замовчуванням ліжко використовуватиме стислий дисплей прогресу та друкуватиме лише підсумок
інформація про помилки в тестах. Побачити ВИХІД ВАРІАНТИ для параметрів керування ліжко
відображення та виведення прогресу.

ліжко також містить ряд опцій для контролю виконання тестів (конкретні
функції можуть залежати від конкретного формату тесту). Побачити ВИКОНАННЯ ВАРІАНТИ більше
інформація.

Нарешті, ліжко також підтримує додаткові параметри лише для запуску підмножини параметрів
вказано в командному рядку, див ВИБІР ВАРІАНТИ для отримання додаткової інформації.

Користувачі, зацікавлені в ліжко архітектура або дизайн а ліжко виконання тестування повинно
побачити LIT ІНФРАСТРУКТУРА.

Загальні відомості ВАРІАНТИ

-h, --допомога
Показати ліжко довідкове повідомлення.

-j N, --threads=N
прогін N тести паралельно. За замовчуванням це автоматично вибирається відповідно до
кількість виявлених доступних ЦП.

--config-prefix=ІМЯ
Шукати ІМ'Я.cfg та ІМ'Я.site.cfg коли Грати короля карти - безкоштовно Nijumi логічна гра гри та цінності тест сьютів, замість of
lit.cfg та lit.site.cfg.

-D ІМ'Я, -D NAME=VALUE, --парам ІМ'Я, --парам ІМ'Я=ЗНАЧЕННЯ
Додайте визначений користувачем параметр ІМ'Я з даним VALUE (або порожній рядок, якщо ні
дано). Значення та використання цих параметрів залежить від набору тестів.

ВИХІД ВАРІАНТИ

-q, --спокійно
Придушити будь-який вихід, окрім невдач тестів.

-так, --стисло
Показувати менше результатів, наприклад, не показувати інформацію про тести, які пройшли.

-v, -багатослівний
Показуйте більше інформації про помилки тестування, наприклад, весь результат тесту
тільки результат тесту.

--не-прогрес-бар
Не використовуйте шкалу прогресу на основі прокляття.

--show-unsupported
Показати назви непідтримуваних тестів.

--show-xfail
Покажіть назви тестів, які очікували провалу.

ВИКОНАННЯ ВАРІАНТИ

--шлях=ШЛЯХ
Вкажіть додатковий PATH використовувати під час пошуку виконуваних файлів у тестах.

--vg Виконайте окремі тести під valgrind (за допомогою інструмента memcheck). The
--error-exitcode Аргумент для valgrind використовується для того, щоб спричинити збої valgrind
програма для виходу з ненульовим статусом.

Коли цей параметр увімкнено, ліжко також автоматично надасть "валгринд"
функція, яку можна використовувати для умовного вимкнення (або очікування збою) певних
тести

--vg-arg=ARG
Коли --vg використовується, вкажіть додатковий аргумент для переходу валгринд себе.

--vg-витік
Коли --vg використовується, увімкніть перевірку витоку пам’яті. Коли цей параметр увімкнено, ліжко
також автоматично надасть "vg_leak" функція, яку можна використовувати
умовно вимкнути (або очікувати збою) певні тести.

--час-тести
Відстежуйте час виконання окремих тестів на стіні та включайте результати
підсумковий результат. Це корисно для визначення, які тести в наборі тестів
витрачати найбільше часу на виконання. Зауважте, що цей параметр найбільш корисний з -j 1.

ВИБІР ВАРІАНТИ

--max-tests=N
Бігайте максимум N тести, а потім припинити.

--max-time=N
Витрачати максимум N секунд (приблизно) виконання тестів, а потім завершення.

--перемішувати
Виконайте тести у випадковому порядку.

ДОДАТКОВИЙ ВАРІАНТИ

--відлагоджувати
прогін ліжко в режимі налагодження, для налагодження проблем конфігурації та ліжко себе.

--шоу-люкс
Перерахуйте знайдені набори тестів і вийдіть.

--шоу-тести
Перерахуйте всі виявлені тести та вийдіть.

EXIT СТАТУС

ліжко вийде з кодом виходу 1, якщо є результати FAIL або XPASS. інакше
він вийде зі статусом 0. Інші коди виходу використовуються для збоїв, не пов'язаних із тестуванням
(наприклад, помилка користувача або внутрішня помилка програми).

TEST DISCOVERY

Вхідні дані передані до ліжко можуть бути як окремі тести, так і цілі каталоги або
ієрархії тестів для виконання. Коли ліжко запускається, перше, що він робить, це конвертує файл
вхідні дані в повний список тестів для виконання тест відкриття.

У ліжко моделі, кожен тест повинен існувати всередині деякої тест набір. ліжко вирішує входи
вказано в командному рядку, щоб перевірити набори шляхом пошуку вгору від шляху введення
поки не знайде а lit.cfg or lit.site.cfg файл. Ці файли одночасно служать маркером тесту
пакети та як файли конфігурації, які ліжко навантаження, щоб зрозуміти, як знайти і
запустіть тести всередині набору тестів.

один раз ліжко зіставив вхідні дані в тестові набори, він перетинає список доданих входів
тести для окремих файлів і рекурсивний пошук тестів у каталогах.

Така поведінка дозволяє легко вказати підмножину тестів для виконання, водночас дозволяючи
конфігурація набору тестів, щоб точно контролювати, як тести інтерпретуються. В додаток, ліжко
завжди визначає тести за набором тестів, у якому вони перебувають, і їх відносним шляхом всередині
тестовий набір. Для належним чином налаштованих проектів це дозволяє ліжко забезпечити зручний
і гнучка підтримка для побудови поза деревом.

TEST СТАТУС РЕЗУЛЬТАТИ

Кожен тест в кінцевому підсумку дає один із наступних шести результатів:

PASS
Тест пройшов успішно.

XFAIL
Тест не пройшов, але це очікувано. Це використовується для тестових форматів, які дозволяють
вказуючи, що тест наразі не працює, але бажаєте залишити його в наборі тестів.

XPASS
Тест пройшов успішно, але очікувалося провал. Це використовується для тестів, які були
вказано, як очікувалося, не вдалося, але тепер успішно (зазвичай через те, що функція
тест був зламаний і виправлений).

FAIL
Тест провалився.

НЕВИРІШЕНО
Результат тесту визначити не вдалося. Наприклад, це відбувається, коли тест може
не запускається, сам тест недійсний або перевірка була перервана.

НЕ ПІДТРИМУЄТЬСЯ
Тест не підтримується в цьому середовищі. Це використовується тестовими форматами, які можуть
повідомляти про непідтримувані тести.

Залежно від формату тесту тести можуть давати додаткову інформацію про їх статус
(як правило, тільки для невдач). Див ВИХІД ВАРІАНТИ розділ для отримання додаткової інформації.

LIT ІНФРАСТРУКТУРА

У цьому розділі описано ліжко тестування архітектури для користувачів, зацікавлених у створенні нового
ліжко тестування впровадження або розширення існуючого.

ліжко Власне — це перш за все інфраструктура для виявлення та виконання довільних тестів, і
надати для цих тестів єдиний зручний інтерфейс. ліжко сам не вміє бігати
тестів, скоріше ця логіка визначається тест люкси.

TEST ЛЮКС
Як описано в TEST DISCOVERY, тести завжди розташовані всередині a тест набір. Тестові набори
служать для визначення формату тестів, які вони містять, логіки пошуку цих тестів,
та будь-яку додаткову інформацію для проведення тестів.

ліжко визначає набори тестів як каталоги, що містять lit.cfg or lit.site.cfg файли (див
Також --config-префікс). Набори тестів спочатку виявляються шляхом рекурсивного пошуку вгору
ієрархія каталогів для всіх вхідних файлів, переданих у командному рядку. Ви можете використовувати
--шоу-люкс щоб відобразити знайдені набори тестів під час запуску.

Після виявлення набору тестів його конфігураційний файл завантажується. Самі файли конфігурації є
Модулі Python, які будуть виконуватися. Коли файл конфігурації виконується, два важливі
глобальні змінні попередньо визначені:

lit_config
Глобальний ліжко об'єкт конфігурації (a LitConfig instance), який визначає вбуд
тестові формати, глобальні параметри конфігурації та інші допоміжні підпрограми для
впровадження тестових конфігурацій.

конфиг
Це об’єкт конфігурації (a TestingConfig приклад) для набору тестів, який
Очікується, що конфігураційний файл заповниться. Наступні змінні також доступні на
конфиг об'єкт, деякі з яких мають бути встановлені конфігурацією, а інші є необов'язковими або
попередньо визначено:

ім'я [вимагається] Назва набору тестів для використання у звітах та діагностиці.

test_format [вимагається] Об’єкт тестового формату, який буде використовуватися для виявлення та запуску
тести в наборі тестів. Як правило, це буде вбудований тестовий формат, доступний з
літ.формати модуль

test_source_root Шлях файлової системи до кореня набору тестів. Для збірок поза каталогом
це каталог, який буде перевірено для тестів.

test_exec_root Для збірок поза каталогом шлях до кореня набору тестів всередині об’єкта
каталог. Тут будуть запущені тести та розміщені тимчасові вихідні файли.

навколишнє середовище Словник, що представляє середовище для використання під час виконання тестів
люкс.

суфікси для ліжко тестові формати, які сканують каталоги для тестів, ця змінна є списком
суфіксів для ідентифікації тестових файлів. Використаний: ШТест.

підстановки для ліжко тестові формати, які підставляють змінні в тестовий сценарій,
список замін, які потрібно виконати. Використаний: ШТест.

не підтримується Позначте непідтримуваний каталог, усі тести в ньому відображатимуться як
не підтримується. Використаний: ШТест.

батько Батьківська конфігурація, це об'єкт конфігурації для каталогу, що містить
набір тестів або Немає.

корінь Коренева конфігурація. Це найвище ліжко конфігурації в проекті.

трубопровід Зазвичай тест з використанням каналу оболонки закінчується невдачею, якщо будь-яка з команд на каналі
невдача. Якщо це не бажано, установка цієї змінної на false призведе до невдачі тесту
якщо остання команда в каналі не вдається.

TEST DISCOVERY
Після того, як тестові набори будуть розташовані, ліжко рекурсивно обходить вихідний каталог (після
test_source_root) шукаю тести. Коли ліжко входить у підкаталог, він спочатку перевіряє
перевірити, чи визначено вкладений набір тестів у цьому каталозі. Якщо так, він завантажує цей набір тестів
рекурсивно, інакше він створює локальну тестову конфігурацію для каталогу (див LOCAL
КОНФІГУРАЦІЯ ФАЙЛИ).

Тести визначаються набором тестів, у якому вони містяться, і відносним шляхом
всередині цього люкса. Зауважте, що відносний шлях може не посилатися на фактичний файл на диску;
деякі формати тестів (наприклад GoogleTest) визначити "віртуальні тести", які мають шлях, який
містить як шлях до фактичного тестового файлу, так і підшлях для ідентифікації віртуального тесту.

LOCAL КОНФІГУРАЦІЯ ФАЙЛИ
Коли ліжко завантажує підкаталог у наборі тестів, він створює екземпляр локальної тестової конфігурації
шляхом клонування конфігурації для батьківського каталогу --- кореня цієї конфігурації
ланцюг завжди буде тестовим набором. Після клонування тестової конфігурації ліжко перевіряє а
lit.local.cfg файл у підкаталозі. Якщо є, цей файл буде завантажено і можна
використовується для спеціалізації конфігурації для кожного окремого каталогу. Цей заклад може бути
використовується для визначення підкаталогів необов'язкових тестів або для зміни іншої конфігурації
параметри --- наприклад, щоб змінити формат тесту або суфікси, які ідентифікують тест
файли.

TEST RUN ВИХІД ФОРМАТ
Команда ліжко вихід для тестового запуску відповідає наведеній нижче схемі, як коротко, так і докладно
режими (хоча в короткому режимі лінії PASS не відображатимуться). Ця схема була обрана
щоб його відносно легко надійно аналізувати машиною (наприклад, у журналі buildbot
скребкування), а також для створення інших інструментів.

Очікується, що кожен результат тесту з’явиться в рядку, який відповідає:

: ( )

де є стандартним результатом тесту, таким як PASS, FAIL, XFAIL, XPASS,
НЕВИРІШЕНО, або НЕ ПІДТРИМУЄТЬСЯ. Коди результатів продуктивності IMPROVED і REGRESSED є
також дозволено.

Команда <test ім'я> поле може складатися з довільного рядка, що не містить нового рядка.

Команда <прогрес інформація> поле можна використовувати для повідомлення інформації про прогрес, наприклад (1/300) або
може бути порожнім, але навіть якщо порожній, дужки є обов’язковими.

Кожен результат тесту може містити додаткову (багаторядкову) інформацію журналу
формат:

ТЕСТ '( )'
... повідомлення журналу ...


де <test ім'я> має бути назва попереднього звітного тесту, <log розмежувач> це
рядок символів «*». at найменш чотири символи (рекомендована довжина 20), і
<кінець розмежувач> є довільним (нерозібраним) рядком.

Нижче наведено приклад результату тестового запуску, який складається з чотирьох тестів A, B, C і
D і повідомлення журналу для невдалого тесту C:

ПРОХІД: A (1 з 4)
ПРОХІД: B (2 з 4)
ПОМИЛКА: C (3 з 4)
******************** ТЕСТ 'C' НЕ ПРОДАНО ********************
Тест "C" не пройшов через код виходу 1.
********************
ПРОХІД: D (4 з 4)

LIT приклад ВИПРОБУВАННЯ
Команда ліжко дистрибутив містить кілька прикладів реалізацій тестових наборів у
Приклад тестів каталог.

Використовуйте lit-3.7 онлайн за допомогою служб onworks.net