lit-3.8 - Online in de cloud

PROGRAMMA:

NAAM

brandt - LLVM geïntegreerde tester

KORTE INHOUD

lit [opties] [testen]

PRODUCTBESCHRIJVING

lit is een draagbaar hulpmiddel voor het uitvoeren van testsuites in LLVM- en Clang-stijl, met een samenvatting ervan
resultaten en het geven van indicaties van mislukkingen. lit is ontworpen als lichtgewicht
testtool met een zo eenvoudig mogelijke gebruikersinterface.

lit moet worden uitgevoerd met een of meer testen opgegeven op de opdrachtregel om uit te voeren. Proeven kunnen
kunnen individuele testbestanden zijn of mappen waarin naar tests kan worden gezocht (zie TEST ONTDEKKING).

Elke gespecificeerde test zal worden uitgevoerd (eventueel parallel) en zodra alle tests zijn uitgevoerd
gelopen lit drukt samenvattende informatie af over het aantal geslaagde of mislukte tests
(Zie TEST STATUS RESULTATEN). De lit het programma wordt uitgevoerd met een eventuele exitcode die niet nul is
testen mislukken.

Standaard lit zal een beknopte voortgangsweergave gebruiken en alleen een samenvatting afdrukken
informatie over testfouten. Zien OUTPUT OPTIES voor opties die de lit
voortgangsweergave en uitvoer.

lit bevat ook een aantal opties om te bepalen hoe tests worden uitgevoerd (specifiek
functies kunnen afhankelijk zijn van het specifieke testformaat). Zien EXECUTIE OPTIES meer
informatie.

Tenslotte lit ondersteunt ook extra opties voor het uitvoeren van slechts een subset van de opties
opgegeven op de opdrachtregel, zie SELECTIE OPTIES voor meer informatie.

Gebruikers die geïnteresseerd zijn in de lit architectuur of het ontwerpen van een lit het testen van de implementatie zou moeten gebeuren
zien LIT INFRASTRUCTUUR.

ALGEMEEN OPTIES

-H, --help
Toon de lit help bericht.

-j N, --draden=N
lopen N parallel testen. Standaard wordt dit automatisch gekozen om overeen te komen met de
aantal gedetecteerde beschikbare CPU's.

--config-prefix=NAAM
Zoek naar NAAM.cfg en NAAM.site.cfg wanneer zoeken For proef suites, verkrijgen in plaats daarvan of
lit.cfg en lit.site.cfg.

-D NAAM, -D NAAM=WAARDE, --param NAAM, --param NAAM=WAARDE
Voeg een door de gebruiker gedefinieerde parameter toe NAAM met het gegeven WAARDE (of de lege string als dat niet het geval is
gegeven). De betekenis en het gebruik van deze parameters is afhankelijk van de testsuite.

OUTPUT OPTIES

-Q, --stil
Onderdruk elke uitvoer, behalve testfouten.

-Ja, -- beknopt
Toon minder output, toon bijvoorbeeld geen informatie over geslaagde tests.

-in, --uitgebreid
Toon meer informatie over testfouten, bijvoorbeeld de volledige testuitvoer
van alleen het testresultaat.

-een, --toon alles
Toon meer informatie over alle tests, bijvoorbeeld de volledige testopdrachtregel en
uitgang.

--geen-voortgangsbalk
Gebruik geen op vloeken gebaseerde voortgangsbalk.

--show-niet ondersteund
Toon de namen van niet-ondersteunde tests.

--show-xfail
Toon de namen van tests waarvan werd verwacht dat ze zouden mislukken.

EXECUTIE OPTIES

--pad=PAD
Geef een extra op PATH te gebruiken bij het zoeken naar uitvoerbare bestanden in tests.

--vg Voer individuele tests uit onder valgrind (met behulp van de memcheck-tool). De
--fout-exitcode argument voor valgrind wordt gebruikt zodat valgrind fouten zullen veroorzaken
het programma wordt afgesloten met een status die niet nul is.

Als deze optie is ingeschakeld, lit zal ook automatisch een "valgrind"
functie die kan worden gebruikt om bepaalde programma's voorwaardelijk uit te schakelen (of een storing te verwachten).
testen.

--vg-arg=ARG
. --vg wordt gebruikt, geeft u een extra argument op waaraan u het wilt doorgeven valgrind zelf.

--vg-lek
. --vg wordt gebruikt, schakelt u controles op geheugenlekken in. Wanneer deze optie is ingeschakeld, lit
zal ook automatisch een "vg_lek"-functie die kan worden gebruikt
bepaalde tests voorwaardelijk uitschakelen (of verwachten dat ze mislukken).

--tijdtesten
Houd de tijd bij die afzonderlijke tests nodig hebben om uit te voeren en neem de resultaten op
de samenvattende uitvoer. Dit is handig om te bepalen welke tests er in een testsuite zitten
de meeste tijd nodig om uit te voeren. Merk op dat deze optie het nuttigst is bij -j 1.

SELECTIE OPTIES

--max-testen=N
Hooguit rennen N testen en vervolgens beëindigen.

--max-tijd=N
Besteed maximaal N seconden (ongeveer) tests uitvoeren en vervolgens beëindigen.

--schudden
Voer de tests in willekeurige volgorde uit.

EXTRA OPTIES

--debuggen
lopen lit in debug-modus, voor het debuggen van configuratieproblemen en lit zelf.

--showsuites
Maak een lijst van de ontdekte testsuites en sluit af.

--show-testen
Maak een lijst van alle ontdekte tests en sluit af.

EXIT STATUS

lit wordt afgesloten met de afsluitcode 1 als er FAIL- of XPASS-resultaten zijn. Anders,
het wordt afgesloten met de status 0. Andere afsluitcodes worden gebruikt voor niet-testgerelateerde fouten
(bijvoorbeeld een gebruikersfout of een interne programmafout).

TEST ONTDEKKING

De invoer is doorgegeven aan lit kunnen individuele tests zijn, of hele mappen of
hiërarchieën van tests die moeten worden uitgevoerd. Wanneer lit opstart, is het eerste wat het doet het converteren van het
invoert in een volledige lijst met tests die als onderdeel moeten worden uitgevoerd proef ontdekking.

In het lit model, elke test moet in sommige daarvan bestaan proef suite. lit lost de invoer op
opgegeven op de opdrachtregel om suites te testen door vanaf het invoerpad omhoog te zoeken
totdat het een vindt lit.cfg or lit.site.cfg bestand. Deze bestanden dienen als testmarkering
suites en als configuratiebestanden die lit laadt om te begrijpen hoe u kunt vinden en
voer de tests uit in de testsuite.

Eens lit heeft de invoer in testsuites in kaart gebracht en doorloopt de lijst met invoer
tests voor individuele bestanden en recursief zoeken naar tests in mappen.

Dit gedrag maakt het eenvoudig om een ​​subset van tests op te geven die moeten worden uitgevoerd, terwijl de
testsuiteconfiguratie om precies te bepalen hoe tests worden geïnterpreteerd. In aanvulling, lit
identificeert tests altijd op basis van de testsuite waarin ze zich bevinden, en hun relatieve pad binnen de testsuite
test pak. Voor correct geconfigureerde projecten is dit mogelijk lit handig bieden
en flexibele ondersteuning voor builds buiten de boom.

TEST STATUS RESULTATEN

Elke test levert uiteindelijk een van de volgende zes resultaten op:

PASS
De proef is geslaagd.

XFAIL
De test mislukte, maar dat is te verwachten. Dit wordt gebruikt voor testformaten die dit toestaan
waarin u aangeeft dat een test momenteel niet werkt, maar deze in de testsuite wilt laten staan.

XPASS
De test slaagde, maar de verwachting was dat deze zou mislukken. Dit wordt gebruikt voor tests die waren
gespecificeerd omdat ze naar verwachting zullen mislukken, maar ze slagen nu (meestal omdat de feature
ze testen was kapot en is gerepareerd).

FAIL
De test is mislukt.

ONOPgelost
Het testresultaat kon niet worden vastgesteld. Dit gebeurt bijvoorbeeld wanneer de test zou kunnen plaatsvinden
niet worden uitgevoerd, de test zelf is ongeldig of de test is onderbroken.

NIET ONDERSTEUND
De test wordt niet ondersteund in deze omgeving. Dit wordt gebruikt door testformaten die dat wel kunnen
rapporteer niet-ondersteunde tests.

Afhankelijk van het testformaat kunnen tests aanvullende informatie over hun status opleveren
(meestal alleen voor storingen). Zie de OUTPUT OPTIES sectie voor meer informatie.

LIT INFRASTRUCTUUR

Dit gedeelte beschrijft de lit architectuur testen voor gebruikers die geïnteresseerd zijn in het creëren van een nieuwe
lit het testen van de implementatie, of het uitbreiden van een bestaande.

lit correct is in de eerste plaats een infrastructuur voor het ontdekken en uitvoeren van willekeurige tests, en
om één enkele handige interface voor deze tests beschikbaar te maken. lit zelf weet niet hoe hij moet rennen
tests, deze logica wordt eerder gedefinieerd door proef suites.

TEST SUITES
Zoals beschreven in TEST ONTDEKKING, tests bevinden zich altijd in a proef suite. Testsuites
dienen om het formaat van de tests die ze bevatten te definiëren, de logica voor het vinden van die tests,
en eventuele aanvullende informatie om de tests uit te voeren.

lit identificeert testsuites als mappen die deze bevatten lit.cfg or lit.site.cfg bestanden (zie
ook --config-voorvoegsel). Testsuites worden in eerste instantie ontdekt door recursief op te zoeken
de maphiërarchie voor alle invoerbestanden die via de opdrachtregel worden doorgegeven. Je kunt gebruiken
--showsuites om de ontdekte testsuites bij het opstarten weer te geven.

Zodra een testsuite is ontdekt, wordt het configuratiebestand ervan geladen. Configuratiebestanden zelf zijn dat wel
Python-modules die zullen worden uitgevoerd. Wanneer het configuratiebestand wordt uitgevoerd, zijn er twee belangrijke
globale variabelen zijn vooraf gedefinieerd:

lit_config
De wereldwijde lit configuratieobject (een LitConfig instance), die het ingebouwde definieert
testformaten, globale configuratieparameters en andere hulproutines voor
het implementeren van testconfiguraties.

config
Dit is het configuratieobject (a TestConfig instance) voor de testsuite, die de
config-bestand zal naar verwachting worden gevuld. De volgende variabelen zijn ook beschikbaar op de
config object, waarvan sommige moeten worden ingesteld door de configuratie en andere optioneel zijn of
vooraf gedefinieerd:

naam [verplicht] De naam van de testsuite, voor gebruik in rapporten en diagnostiek.

test_formaat [verplicht] Het testformaatobject dat wordt gebruikt om te ontdekken en uit te voeren
testen in de testsuite. Over het algemeen zal dit een ingebouwd testformaat zijn dat beschikbaar is vanaf
de lit.formaten module.

test_bron_root Het bestandssysteempad naar de root van de testsuite. Voor builds die niet in de juiste map staan
dit is de map die wordt gescand voor tests.

test_exec_root Voor builds buiten de map: het pad naar de hoofdmap van de testsuite in het object
map. Hier worden tests uitgevoerd en tijdelijke uitvoerbestanden geplaatst.

milieu Een woordenboek dat de omgeving vertegenwoordigt die moet worden gebruikt bij het uitvoeren van tests
de suite.

achtervoegsels Voor lit testformaten die mappen scannen op tests, deze variabele is een lijst
van achtervoegsels om testbestanden te identificeren. Gebruikt door: ShTest.

vervangingen Voor lit testformaten die variabelen in een testscript vervangen, de
lijst met uit te voeren vervangingen. Gebruikt door: ShTest.

niet gesteund Markeer een niet-ondersteunde map; alle tests daarin worden gerapporteerd als
niet ondersteund. Gebruikt door: ShTest.

ouder De bovenliggende configuratie, dit is het configuratieobject voor de map die deze bevat
de testsuite, of Geen.

wortel De rootconfiguratie. Dit is de bovenste lit configuratie in het project.

pijpfout Normaal gesproken mislukt een test met behulp van een shell-pipe als een van de opdrachten op de pipe wordt uitgevoerd
mislukking. Als dit niet gewenst is, leidt het instellen van deze variabele op false ertoe dat de test alleen maar mislukt
als het laatste commando in de pipe mislukt.

TEST ONTDEKKING
Zodra de testsuites zich bevinden, lit doorkruist recursief de bronmap (volgend
test_bron_root) op zoek naar tests. Wanneer lit een submap binnengaat, wordt eerst gecontroleerd
kijk of er in die map een geneste testsuite is gedefinieerd. Als dat zo is, wordt die testsuite geladen
recursief, anders wordt een lokale testconfiguratie voor de directory geïnstantieerd (zie LOKALE
CONFIGURATIE FILES).

Tests worden geïdentificeerd aan de hand van de testsuite waarin ze zich bevinden, en het relatieve pad
in die suite. Houd er rekening mee dat het relatieve pad mogelijk niet verwijst naar een daadwerkelijk bestand op schijf;
sommige testformaten (zoals GoogleTest) definieer "virtuele tests" die een pad hebben dat
bevat zowel het pad naar het daadwerkelijke testbestand als een subpad om de virtuele test te identificeren.

LOKALE CONFIGURATIE FILES
. lit laadt een submap in een testsuite en start een lokale testconfiguratie
door de configuratie voor de bovenliggende map te klonen --- de root van deze configuratie
chain zal altijd een testsuite zijn. Zodra de testconfiguratie is gekloond lit controleert op een
lit.local.cfg bestand in de submap. Indien aanwezig wordt dit bestand geladen en kan worden
gebruikt om de configuratie voor elke individuele directory te specialiseren. Deze voorziening kan
gebruikt om submappen van optionele tests te definiëren, of om andere configuraties te wijzigen
parameters --- bijvoorbeeld om het testformaat te wijzigen, of de achtervoegsels die test identificeren
bestanden.

TEST VLUCHTEN OUTPUT FORMAT
De lit uitvoer voor een testrun voldoet aan het volgende schema, zowel kort als uitgebreid
modi (hoewel in de korte modus geen PASS-regels worden weergegeven). Er is gekozen voor dit schema
om relatief eenvoudig betrouwbaar te kunnen parseren door een machine (bijvoorbeeld in buildbot log
schrapen) en voor andere tools om te genereren.

Van elk testresultaat wordt verwacht dat het op een regel verschijnt die overeenkomt met:

: ( )

WAAR is een standaard testresultaat zoals PASS, FAIL, XFAIL, XPASS,
ONOPGELOST of NIET-ONDERSTEUND. De prestatieresultaatcodes VERBETERD en REGRESSED zijn
ook toegestaan.

De <test naam> veld kan bestaan ​​uit een willekeurige reeks die geen nieuwe regel bevat.

De <vooruitgang info> veld kan worden gebruikt om voortgangsinformatie te rapporteren, zoals (1/300) of
kan leeg zijn, maar zelfs als het leeg is, zijn de haakjes vereist.

Elk testresultaat kan hieronder aanvullende (meerregelige) loginformatie bevatten
formaat:

TEST '( )'
... logbericht ...


WAAR <test naam> moet de naam zijn van een eerder gerapporteerde test, <logboek afbakening> is een
reeks "*"-tekens at minst vier tekens lang (de aanbevolen lengte is 20), en
<achterlopend afbakening> is een willekeurige (niet-geparseerde) tekenreeks.

Het volgende is een voorbeeld van een testrun-uitvoer die bestaat uit vier tests A, B, C en
D, en een logbericht voor de mislukte test C:

PAS: A (1 van 4)
PAS: B (2 van 4)
FOUT: C (3 van 4)
******************** TEST 'C' MISLUKT ********************
Test 'C' is mislukt als gevolg van exitcode 1.
********************
PAS: D (4 van 4)

LIT VOORBEELD PROEVEN
De lit distributie bevat verschillende voorbeeldimplementaties van testsuites in de
VoorbeeldTests directory.

Gebruik lit-3.8 online met behulp van onworks.net-services