świeci - Online w chmurze

PROGRAM:

IMIĘ

świeci — zintegrowany tester LLVM

STRESZCZENIE

oświetlony [Opcje] [Testy]

OPIS

oświetlony to przenośne narzędzie do wykonywania zestawów testów w stylu LLVM i Clang, podsumowujące ich
wyniki i dostarczanie informacji o błędach. oświetlony ma być lekki
narzędzie do testowania z tak prostym interfejsem użytkownika, jak to tylko możliwe.

oświetlony powinien być uruchamiany z jednym lub więcej Testy uruchomić określone w wierszu poleceń. Testy mogą
być pojedynczymi plikami testów lub katalogami do wyszukiwania testów (patrz TESTOWANIE ODKRYCIE).

Każdy określony test zostanie wykonany (potencjalnie równolegle) i po wykonaniu wszystkich testów
został uruchomiony oświetlony wydrukuje zbiorcze informacje o liczbie testów, które przeszły pomyślnie lub nie
(Patrz TESTOWANIE STATUS WYNIKI). oświetlony program zostanie wykonany z niezerowym kodem wyjścia, jeśli taki istnieje
testy zawodzą.

Domyślnie oświetlony użyje zwięzłego wyświetlacza postępu i wydrukuje tylko podsumowanie
informacje o niepowodzeniach testów. Widzieć WYDAJNOŚĆ OPCJE dla opcji sterujących oświetlony
wyświetlanie postępu i wyjście.

oświetlony zawiera również szereg opcji kontrolujących sposób wykonywania testów (specyficzne
funkcje mogą zależeć od konkretnego formatu testu). Widzieć WYKONANIE OPCJE więcej
informacje.

Wreszcie, oświetlony obsługuje również dodatkowe opcje do uruchamiania tylko podzbioru opcji
określone w wierszu poleceń, patrz WYBÓR OPCJE po więcej informacji.

Użytkownicy zainteresowani oświetlony architektura lub projektowanie a oświetlony implementacja testów powinna
widzieć OŚWIETLONY INFRASTRUKTURA.

GENERAŁ OPCJE

-H, --help
Pokaż oświetlony wiadomość pomocy.

-j N, --wątki=N
run N testy równolegle. Domyślnie jest to automatycznie wybierane w celu dopasowania
liczba wykrytych dostępnych procesorów.

--config-prefix=NAZWA
w szukaniu IMIĘ.cfg i IMIĘ.witryna.cfg jeśli chodzi o komunikację i motywację poszukiwania dla test apartamenty, zamiast of
lit. cfg i lit.witryna.cfg.

-D NAZWA, -D NAZWA=WARTOŚĆ, --parametr NAZWA, --parametr NAZWA=WARTOŚĆ
Dodaj parametr zdefiniowany przez użytkownika IMIĘ z danym WARTOŚĆ (lub pusty ciąg, jeśli nie
dany). Znaczenie i użycie tych parametrów zależy od zestawu testów.

WYDAJNOŚĆ OPCJE

-Q, --cichy
Pomiń wszelkie dane wyjściowe z wyjątkiem niepowodzeń testów.

-tak, --zwięzły
Pokazuj mniej danych wyjściowych, na przykład nie pokazuj informacji o pomyślnych testach.

-v, --gadatliwy
Zamiast tego pokaż więcej informacji o niepowodzeniach testów, na przykład cały wynik testu
tylko wynik testu.

-za, --Pokaż wszystko
Pokaż więcej informacji o wszystkich testach, na przykład całą linię poleceń testu i
wyjście.

--brak-paska-postępu
Nie używaj paska postępu opartego na klątwach.

--show-nieobsługiwane
Pokaż nazwy nieobsługiwanych testów.

--show-xfail
Pokaż nazwy testów, które miały zakończyć się niepowodzeniem.

WYKONANIE OPCJE

--ścieżka=ŚCIEŻKA
Określ dodatkowe PATH do użycia podczas wyszukiwania plików wykonywalnych w testach.

--wg Uruchom poszczególne testy w valgrind (za pomocą narzędzia memcheck). The
--kod wyjścia błędu argument dla valgrind jest używany, aby powodować awarie valgrind
program do wyjścia ze statusem niezerowym.

Gdy ta opcja jest włączona, oświetlony automatycznie zapewni również „Valgrind"
funkcja, której można użyć do warunkowego wyłączenia (lub oczekiwania na awarię) niektórych
testów.

--vg-arg=ARG
Kiedy --wg jest używany, podaj dodatkowy argument do przekazania Valgrind sama.

--vg-przeciek
Kiedy --wg jest używany, włącz sprawdzanie wycieków pamięci. Gdy ta opcja jest włączona, oświetlony
automatycznie zapewni również „vg_przeciek„funkcja, do której można się przyzwyczaić
warunkowo wyłączyć (lub spodziewać się niepowodzenia) niektórych testów.

--testy-czasu
Śledź czas potrzebny do wykonania poszczególnych testów i uwzględniaj wyniki w
wynik podsumowania. Jest to przydatne do określenia, które testy w zestawie testów
poświęcić najwięcej czasu na wykonanie. Zauważ, że ta opcja jest najbardziej użyteczna z -j 1.

WYBÓR OPCJE

--max-testów=N
Najwyżej biegaj N testy, a następnie zakończyć.

--max-czas=N
Najwięcej wydać N sekund (w przybliżeniu) uruchamiania testów, a następnie zakończ.

--człapać
Uruchom testy w losowej kolejności.

DODATKOWY OPCJE

--odpluskwić
run oświetlony w trybie debugowania, do debugowania problemów z konfiguracją i oświetlony sama.

--apartamenty-pokazowe
Wyświetl listę odkrytych zestawów testów i wyjdź.

--pokaż-testy
Wyświetl listę wszystkich wykrytych testów i wyjdź.

EXIT STATUS

oświetlony zakończy działanie z kodem zakończenia 1, jeśli są jakieś wyniki FAIL lub XPASS. W przeciwnym razie,
zakończy się ze statusem 0. Inne kody wyjścia są używane w przypadku niepowodzeń niezwiązanych z testem
(na przykład błąd użytkownika lub wewnętrzny błąd programu).

TESTOWANIE ODKRYCIE

Wejścia przekazywane do oświetlony mogą to być pojedyncze testy lub całe katalogi lub
hierarchie testów do wykonania. Gdy oświetlony uruchamia się, pierwszą rzeczą, którą robi, jest konwersja pliku
dane wejściowe do pełnej listy testów do uruchomienia w ramach test odkrycie.

W oświetlony modelu, każdy test musi istnieć w jakimś test apartament. oświetlony rozwiązuje wejścia
określony w wierszu poleceń, aby przetestować zestawy, wyszukując w górę od ścieżki wejściowej
aż znajdzie lit. cfg or lit.witryna.cfg plik. Pliki te służą zarówno jako znacznik testu
suites oraz jako pliki konfiguracyjne, które oświetlony ładunki, aby zrozumieć, jak znaleźć i
uruchom testy w zestawie testów.

Pewnego razu oświetlony zmapował dane wejściowe do zestawów testów, przegląda listę dodawanych danych wejściowych
testy dla pojedynczych plików oraz rekurencyjne wyszukiwanie testów w katalogach.

Takie zachowanie ułatwia określenie podzbioru testów do uruchomienia, jednocześnie umożliwiając
konfiguracja zestawu testów, aby dokładnie kontrolować sposób interpretacji testów. Ponadto, oświetlony
zawsze identyfikuje testy według zestawu testów, w którym się znajdują, oraz ich względnej ścieżki wewnątrz
pakiet testów. W przypadku odpowiednio skonfigurowanych projektów umożliwia to oświetlony zapewnić wygodę
i elastyczne wsparcie dla kompilacji poza drzewem.

TESTOWANIE STATUS WYNIKI

Każdy test ostatecznie daje jeden z następujących sześciu wyników:

PASS
Test się powiódł.

XNiepowodzenie
Test się nie powiódł, ale tego można się spodziewać. Jest to używane w przypadku formatów testów, które na to pozwalają
określając, że test obecnie nie działa, ale chcesz pozostawić go w zestawie testów.

XPASS
Test się powiódł, ale spodziewano się niepowodzenia. Jest to używane do testów, które były
określone zgodnie z oczekiwaniami, zakończą się niepowodzeniem, ale teraz odnoszą sukces (ogólnie dlatego, że funkcja
test był zepsuty i został naprawiony).

FAIL
Test się nie powiódł.

NIE ROZWIĄZANY
Nie udało się ustalić wyniku testu. Na przykład dzieje się tak, gdy test może
nie zostać uruchomiony, sam test jest nieważny lub test został przerwany.

NIEOBSŁUGIWANE
Test nie jest obsługiwany w tym środowisku. Jest to używane przez formaty testowe, które mogą
zgłoś nieobsługiwane testy.

W zależności od formatu testu testy mogą generować dodatkowe informacje o ich statusie
(zwykle tylko w przypadku awarii). Zobacz WYDAJNOŚĆ OPCJE sekcja po więcej informacji.

OŚWIETLONY INFRASTRUKTURA

W tej sekcji opisano oświetlony testowanie architektury dla użytkowników zainteresowanych stworzeniem nowej
oświetlony wdrożenie testowe lub rozszerzenie już istniejącego.

oświetlony właściwa to przede wszystkim infrastruktura do wykrywania i uruchamiania dowolnych testów oraz
aby wystawić jeden wygodny interfejs na te testy. oświetlony sam nie umie biegać
testy, raczej ta logika jest zdefiniowana przez test apartamenty.

TESTOWANIE APARTAMENTY
Jak opisano w TESTOWANIE ODKRYCIE, testy zawsze znajdują się wewnątrz a test apartament. Zestawy testów
służą do określenia formatu testów, które zawierają, logiki wyszukiwania tych testów,
oraz wszelkie dodatkowe informacje potrzebne do przeprowadzenia testów.

oświetlony identyfikuje zestawy testów jako katalogi zawierające lit. cfg or lit.witryna.cfg pliki (zob
również --config-przedrostek). Zestawy testów są początkowo odkrywane przez rekurencyjne przeszukiwanie w górę
hierarchię katalogów dla wszystkich plików wejściowych przekazywanych w wierszu poleceń. Możesz użyć
--apartamenty-pokazowe aby wyświetlić wykryte zestawy testów podczas uruchamiania.

Po wykryciu zestawu testów ładowany jest jego plik konfiguracyjny. Same pliki konfiguracyjne są
Moduły Pythona, które zostaną wykonane. Kiedy plik konfiguracyjny jest wykonywany, dwa ważne
zmienne globalne są predefiniowane:

lit_konfiguracja
Globalny oświetlony obiekt konfiguracyjny (a LitConfig instance), która definiuje wbudowany
formaty testów, globalne parametry konfiguracyjne i inne procedury pomocnicze dla
wdrażanie konfiguracji testowych.

config
To jest obiekt konfiguracyjny (a Konfiguracja testowa instancja) dla zestawu testów, który
Oczekuje się, że plik konfiguracyjny zostanie wypełniony. Następujące zmienne są również dostępne w pliku
config obiekt, z których niektóre muszą być ustawione przez konfigurację, a inne są opcjonalne lub
predefiniowane:

Nazwa [wymagany] Nazwa zestawu testów do użycia w raportach i diagnostyce.

format_testowy [wymagany] Obiekt formatu testu, który będzie używany do wykrywania i uruchamiania
testy w pakiecie testów. Ogólnie będzie to wbudowany format testu dostępny z
dotychczasowy podświetlone formaty moduł.

katalog_źródłowy_testu Ścieżka systemu plików do katalogu głównego zestawu testów. Dla kompilacji poza katalogiem
jest to katalog, który zostanie przeskanowany w poszukiwaniu testów.

test_exec_root W przypadku kompilacji poza katalogiem ścieżka do katalogu głównego zestawu testów wewnątrz obiektu
informator. Tutaj będą przeprowadzane testy i umieszczane będą tymczasowe pliki wyjściowe.

środowisko Słownik reprezentujący środowisko, które ma być używane podczas wykonywania testów
apartament.

sufiksy W razie zamówieenia projektu oświetlony formaty testowe, które skanują katalogi w poszukiwaniu testów, ta zmienna jest listą
przyrostków identyfikujących pliki testowe. Używany przez: ShTest.

substytucje W razie zamówieenia projektu oświetlony formaty testów, które zastępują zmienne w skrypcie testowym,
lista zastępstw do wykonania. Używany przez: ShTest.

nieobsługiwane Zaznacz nieobsługiwany katalog, wszystkie testy w nim będą zgłaszane jako
nieobsługiwany. Używany przez: ShTest.

roślina mateczna Konfiguracja nadrzędna, to jest obiekt konfiguracyjny dla katalogu zawierającego
zestaw testów lub Brak.

korzeń Konfiguracja roota. To jest najwyższe oświetlony konfiguracja w projekcie.

awaria potoku Zwykle test przy użyciu potoku powłoki kończy się niepowodzeniem, jeśli którekolwiek z poleceń potoku
ponieść porażkę. Jeśli nie jest to pożądane, ustawienie tej zmiennej na wartość false spowoduje, że test zakończy się niepowodzeniem
jeśli ostatnie polecenie w potoku nie powiedzie się.

TESTOWANIE ODKRYCIE
Po zlokalizowaniu zestawów testów, oświetlony rekurencyjnie przechodzi przez katalog źródłowy (following
katalog_źródłowy_testu) szukam testów. Gdy oświetlony wchodzi do podkatalogu, najpierw sprawdza
sprawdź, czy w tym katalogu zdefiniowano zagnieżdżony zestaw testów. Jeśli tak, ładuje ten zestaw testów
rekurencyjnie, w przeciwnym razie tworzy instancję lokalnej konfiguracji testowej dla katalogu (patrz LOCAL
KONFIGURACJA AKTA).

Testy są identyfikowane przez zestaw testów, w którym się znajdują, oraz ścieżkę względną
wewnątrz tego apartamentu. Zauważ, że ścieżka względna może nie odnosić się do rzeczywistego pliku na dysku;
niektóre formaty testów (np Test Google) zdefiniuj „testy wirtualne”, które mają ścieżkę, która
zawiera zarówno ścieżkę do rzeczywistego pliku testowego, jak i ścieżkę podrzędną do identyfikacji testu wirtualnego.

LOCAL KONFIGURACJA AKTA
Kiedy oświetlony ładuje podkatalog w zestawie testów, tworzy instancję lokalnej konfiguracji testowej
klonując konfigurację dla katalogu nadrzędnego --- katalogu głównego tej konfiguracji
chain zawsze będzie zestawem testów. Po sklonowaniu konfiguracji testowej oświetlony sprawdza dla A
lit.local.cfg plik w podkatalogu. Jeśli jest obecny, ten plik zostanie załadowany i może być
używany do specjalizacji konfiguracji dla każdego katalogu. Ten obiekt może być
służy do definiowania podkatalogów opcjonalnych testów lub do zmiany innej konfiguracji
parametry --- na przykład, aby zmienić format testu lub sufiksy identyfikujące test
akta.

TESTOWANIE BIEGAĆ WYDAJNOŚĆ FORMAT
Połączenia oświetlony dane wyjściowe dla przebiegu testowego są zgodne z następującym schematem, zarówno w wersji krótkiej, jak i szczegółowej
trybach (chociaż w trybie krótkim nie będą wyświetlane linie PASS). Ten schemat został wybrany
być stosunkowo łatwe do niezawodnego przeanalizowania przez maszynę (na przykład w buildbot log
skrobanie) oraz innych narzędzi do generowania.

Oczekuje się, że każdy wynik testu pojawi się w wierszu pasującym do:

: ( )

gdzie to standardowy wynik testu, taki jak PASS, FAIL, XFAIL, XPASS,
NIEROZWIĄZANE lub NIEOBSŁUGIWANE. Kody wyników wydajności POPRAWIONE i REGRESOWANE to
również dozwolone.

Połączenia <test imię> pole może składać się z dowolnego ciągu znaków bez nowej linii.

Połączenia <postęp informacje> pole może służyć do zgłaszania informacji o postępach, takich jak (1/300) lub
może być pusty, ale nawet wtedy, gdy jest pusty, nawiasy są wymagane.

Każdy wynik testu może zawierać dodatkowe (wielowierszowe) informacje dziennika poniżej
format:

TEST '( )'
... wiadomość dziennika ...


gdzie <test imię> powinna być nazwą poprzedniego zgłoszonego testu, <log wyznacznik> jest
ciąg znaków „*”. at najmniej długość czterech znaków (zalecana długość to 20), oraz
<końcowy wyznacznik> jest dowolnym (nieprzeanalizowanym) łańcuchem.

Poniżej znajduje się przykład danych wyjściowych przebiegu testowego, które składają się z czterech testów A, B, C i
D i komunikat dziennika dotyczący testu zakończonego niepowodzeniem C:

PODAJ: A (1 z 4)
PRZESYŁKA: B (2 z 4)
NIEPOWODZENIE: C (3 z 4)
******************** TEST „C” NIE POWIODŁ SIĘ ********************
Test „C” nie powiódł się z powodu kodu wyjścia 1.
********************
PODAJ: D (4 z 4)

OŚWIETLONY PRZYKŁAD TESTY
Połączenia oświetlony dystrybucja zawiera kilka przykładowych implementacji zestawów testów w
Przykładowe testy katalogiem.

Korzystaj z oświetlenia online, korzystając z usług onworks.net