lit-3.7 - 클라우드의 온라인

프로그램:

이름

점등 - LLVM 통합 테스터

개요

침대 [옵션] [테스트]

기술

침대 LLVM 및 Clang 스타일 테스트 스위트를 실행하기 위한 휴대용 도구로,
결과 및 실패 표시 제공. 침대 경량으로 설계되었습니다
가능한 한 간단한 사용자 인터페이스를 갖춘 테스트 도구입니다.

침대 하나 이상으로 실행해야 합니다. 테스트 명령줄에 지정된 실행. 테스트 수
테스트를 검색하기 위한 개별 테스트 파일 또는 디렉토리(참조 TEST 발견).

지정된 각 테스트는 (잠재적으로 병렬로) 실행되고 모든 테스트가 완료되면
실행되었다 침대 통과 또는 실패한 테스트 수에 대한 요약 정보를 인쇄합니다.
(참조 TEST 지위 결과). 침대 프로그램은 XNUMX이 아닌 종료 코드로 실행됩니다.
테스트가 실패합니다.

기본적으로 침대 간결한 진행률 표시를 사용하고 요약만 인쇄합니다.
테스트 실패에 대한 정보. 보다 출력 옵션 옵션을 제어하는 침대
진행 표시 및 출력.

침대 또한 테스트 실행 방법을 제어하기 위한 여러 옵션이 포함되어 있습니다(특정
기능은 특정 테스트 형식에 따라 다를 수 있습니다). 보다 실행 옵션 자세한
정보.

마지막으로, 침대 옵션의 하위 집합만 실행하기 위한 추가 옵션도 지원합니다.
명령줄에 지정됨, 참조 SELECTION 옵션

에 관심이 있는 사용자 침대 건축이나 디자인 침대 테스트 구현은
참조 문학 인프라.

일반 옵션

-시간, --도움
표시 침대 도움말 메시지.

-j N, --스레드=N
달리기 N 병렬로 테스트합니다. 기본적으로 이것은 일치하도록 자동으로 선택됩니다.
감지된 사용 가능한 CPU 수입니다.

--config-접두사=이름
에 대한 검색 이름.cfg 과 이름.사이트.cfg 언제 수색 for test 스위트 룸, 를 받아야 하는 미국 여행자 of
lit.cfg 과 lit.site.cfg.

-D 이름, -D 이름=VALUE, --매개변수 이름, --매개변수 이름=VALUE
사용자 정의 매개변수 추가 이름 주어진 VALUE (또는 그렇지 않은 경우 빈 문자열
주어진). 이러한 매개변수의 의미와 사용은 테스트 스위트에 따라 다릅니다.

출력 옵션

-NS, --조용한
테스트 실패를 제외한 모든 출력을 억제합니다.

-에스, --간결
예를 들어 통과한 테스트에 대한 정보를 표시하지 않습니다.

-V, --말 수가 많은
테스트 실패에 대한 추가 정보 표시(예: 대신 전체 테스트 출력)
바로 테스트 결과입니다.

--진행률 표시줄 없음
저주 기반 진행률 표시줄을 사용하지 마십시오.

--show-지원되지 않음
지원되지 않는 테스트의 이름을 표시합니다.

--show-xfail
실패할 것으로 예상된 테스트의 이름을 표시합니다.

실행 옵션

--경로=경로
추가 지정 PATH 테스트에서 실행 파일을 검색할 때 사용합니다.

--vg memcheck 도구를 사용하여 valgrind에서 개별 테스트를 실행합니다. NS
--오류 종료 코드 valgrind에 대한 인수는 valgrind 실패로 인해 발생하도록 사용됩니다.
XNUMX이 아닌 상태로 프로그램을 종료합니다.

이 옵션이 활성화되면 침대 "Valgrind"
특정 기능을 조건부로 비활성화(또는 실패를 예상)하는 데 사용할 수 있는 기능
테스트.

--vg-인수=ARG
인셀덤 공식 판매점인 --vg 사용되는 경우 전달할 추가 인수를 지정하십시오. Valgrind 자체.

--vg-누설
인셀덤 공식 판매점인 --vg 사용되는 경우 메모리 누수 검사를 활성화합니다. 이 옵션이 활성화되면 침대
"vg_leak"에 사용할 수 있는 기능
특정 테스트를 조건부로 비활성화(또는 실패를 예상)합니다.

--시간 테스트
개별 테스트가 실행되는 데 걸리는 실제 시간을 추적하고 결과를
요약 출력. 이것은 테스트 스위트에서 어떤 테스트를 결정하는 데 유용합니다.
실행하는 데 가장 많은 시간이 걸립니다. 이 옵션은 다음과 함께 가장 유용합니다. -j 1.

SELECTION 옵션

--최대 테스트=N
최대 실행 N 테스트 후 종료합니다.

--최대-시간=N
최대 지출 N 초 (대략) 테스트를 실행한 다음 종료합니다.

--혼합
무작위 순서로 테스트를 실행합니다.

추가 옵션

-디버그
달리기 침대 디버그 모드에서 구성 문제를 디버깅하고 침대 자체.

--쇼 스위트
발견된 테스트 스위트를 나열하고 종료하십시오.

--쇼-테스트
발견된 모든 테스트를 나열하고 종료하십시오.

EXIT 지위

침대 FAIL 또는 XPASS 결과가 있는 경우 종료 코드 1로 종료됩니다. 그렇지 않으면,
상태 0으로 종료됩니다. 다른 종료 코드는 테스트 관련 실패에 사용됩니다.
(예: 사용자 오류 또는 내부 프로그램 오류).

TEST 발견

전달된 입력 침대 개별 테스트, 전체 디렉토리 또는
실행할 테스트의 계층. 언제 침대 시작하면 가장 먼저 하는 일은 변환하는 것입니다.
일부로 실행할 테스트의 전체 목록에 입력 test 발견.

. 침대 모델, 모든 테스트는 일부 내부에 있어야 합니다. test 스위트. 침대 입력을 해결
입력 경로에서 위쪽으로 검색하여 제품군을 테스트하기 위해 명령줄에 지정됨
찾을 때까지 lit.cfg or lit.site.cfg 파일. 이 파일은 테스트의 마커 역할을 합니다.
제품군 및 구성 파일로 침대 찾는 방법을 이해하기 위해 로드하고
테스트 스위트 내에서 테스트를 실행합니다.

일단 침대 입력 목록을 순회하는 테스트 스위트에 입력을 매핑했습니다.
개별 파일에 대한 테스트 및 디렉터리에서 테스트를 재귀적으로 검색합니다.

이 동작을 통해 실행할 테스트의 하위 집합을 쉽게 지정할 수 있습니다.
테스트가 해석되는 방식을 정확히 제어하기 위한 테스트 스위트 구성. 게다가, 침대
항상 테스트가 속한 테스트 스위트와 내부의 상대 경로로 테스트를 식별합니다.
테스트 스위트. 적절하게 구성된 프로젝트의 경우 이를 통해 침대 편리한 제공
트리 외부 빌드에 대한 유연한 지원.

TEST 지위 결과

각 테스트는 궁극적으로 다음 XNUMX가지 결과 중 하나를 생성합니다.

PASS
테스트에 성공했습니다.

실패
테스트는 실패했지만 예상됩니다. 이것은 허용하는 테스트 형식에 사용됩니다.
테스트가 현재 작동하지 않지만 테스트 스위트에 남겨두고자 함을 지정합니다.

XPASS
테스트는 성공했지만 실패할 것으로 예상되었습니다. 이것은 다음과 같은 테스트에 사용됩니다.
실패할 것으로 예상되지만 지금은 성공하는 것으로 지정되었습니다(일반적으로 기능이
그들은 테스트가 깨졌고 수정되었습니다).

실패
테스트가 실패했습니다.

미해결
테스트 결과를 확인할 수 없습니다. 예를 들어, 테스트가 다음을 수행할 수 있을 때 발생합니다.
실행되지 않거나 테스트 자체가 유효하지 않거나 테스트가 중단되었습니다.

지원되지 않음
이 환경에서는 테스트가 지원되지 않습니다. 이것은 다음을 수행할 수 있는 테스트 형식에서 사용됩니다.
지원되지 않는 테스트를 보고합니다.

테스트 형식에 따라 테스트는 상태에 대한 추가 정보를 생성할 수 있습니다.
(일반적으로 실패에 대해서만). 참조 출력 옵션 자세한 내용은 섹션을 참조하십시오.

문학 인프라

이 섹션에서는 다음을 설명합니다. 침대 새로운 생성에 관심이 있는 사용자를 위한 테스트 아키텍처
침대 구현을 테스트하거나 기존 구현을 확장합니다.

침대 적절한 것은 주로 임의의 테스트를 발견하고 실행하기 위한 인프라이며,
이러한 테스트에 편리한 단일 인터페이스를 제공합니다. 침대 스스로는 달리는 법을 모른다
이 논리는 다음과 같이 정의됩니다. test 스위트 룸.

TEST 스위트 룸
에 설명 된대로 TEST 발견, 테스트는 항상 내부에 있습니다. test 스위트. 테스트 스위트
포함된 테스트의 형식, 해당 테스트를 찾는 논리,
및 테스트를 실행하기 위한 추가 정보.

침대 테스트 스위트를 다음을 포함하는 디렉토리로 식별합니다. lit.cfg or lit.site.cfg 파일(참조
또한 --config-접두사). 테스트 스위트는 재귀적으로 검색하여 처음에 발견됩니다.
명령줄에 전달된 모든 입력 파일의 디렉터리 계층 구조입니다. 당신이 사용할 수있는
--쇼 스위트 시작 시 발견된 테스트 스위트를 표시합니다.

테스트 스위트가 검색되면 해당 구성 파일이 로드됩니다. 구성 파일 자체는
실행될 Python 모듈. config 파일이 실행될 때 두 가지 중요한
전역 변수는 다음과 같이 미리 정의됩니다.

lit_config
글로벌 침대 구성 개체( 조명 구성 instance), 내장을 정의합니다.
테스트 형식, 전역 구성 매개변수 및 기타 도우미 루틴
테스트 구성 구현.

설정
이것은 구성 객체(a 테스트 구성 인스턴스) 테스트 스위트의 경우
구성 파일이 채워질 것으로 예상됩니다. 다음 변수도 사용할 수 있습니다.
설정 개체, 일부는 구성에 의해 설정되어야 하고 나머지는 선택 사항이거나
사전 정의:

name [필수의] 보고서 및 진단에 사용할 테스트 모음의 이름입니다.

테스트 형식 [필수의] 검색 및 실행에 사용할 테스트 형식 개체
테스트 스위트의 테스트. 일반적으로 이것은 다음에서 사용할 수 있는 내장 테스트 형식입니다.
전에, 조명 형식 기준 치수.

테스트_소스_루트 테스트 스위트 루트에 대한 파일 시스템 경로입니다. 디렉토리 외부 빌드의 경우
이것은 테스트를 위해 스캔될 디렉토리입니다.

test_exec_root 디렉토리 외부 빌드의 경우 객체 내부의 테스트 스위트 루트 경로
예배 규칙서. 여기에서 테스트가 실행되고 임시 출력 파일이 배치됩니다.

환경 테스트를 실행할 때 사용할 환경을 나타내는 사전
스위트.

접미사 럭셔리 침대 테스트를 위해 디렉토리를 스캔하는 테스트 형식, 이 변수는 목록입니다.
테스트 파일을 식별하기 위한 접미사. 사용: 쉬테스트.

대체 럭셔리 침대 변수를 테스트 스크립트로 대체하는 테스트 형식,
수행할 대체 목록입니다. 사용: 쉬테스트.

지원되지 않는 지원되지 않는 디렉토리를 표시하면 그 안의 모든 테스트가 다음과 같이 보고됩니다.
지원되지 않습니다. 사용: 쉬테스트.

부모의 상위 구성, 이것은 다음을 포함하는 디렉토리에 대한 구성 객체입니다.
테스트 스위트 또는 없음.

뿌리 루트 구성. 이것은 최상위 침대 프로젝트의 구성.

파이프 실패 일반적으로 파이프의 명령 중 하나라도 있으면 쉘 파이프를 사용한 테스트가 실패합니다.
불합격. 원하지 않는 경우 이 변수를 false로 설정하면 테스트가 실패합니다.
파이프의 마지막 명령이 실패하는 경우.

TEST 발견
테스트 스위트를 찾으면 침대 재귀적으로 소스 디렉토리를 순회합니다(다음
테스트_소스_루트) 테스트를 찾고 있습니다. 언제 침대 하위 디렉토리에 들어가면 먼저 다음을 확인합니다.
중첩된 테스트 스위트가 해당 디렉토리에 정의되어 있는지 확인하십시오. 그렇다면 해당 테스트 스위트를 로드합니다.
재귀적으로, 그렇지 않으면 디렉터리에 대한 로컬 테스트 구성을 인스턴스화합니다(참조 LOCAL
구성 파일).

테스트는 포함된 테스트 스위트와 상대 경로로 식별됩니다.
그 스위트룸 내부. 상대 경로는 디스크의 실제 파일을 참조하지 않을 수 있습니다.
일부 테스트 형식(예: 구글테스트) 다음과 같은 경로가 있는 "가상 테스트"를 정의합니다.
실제 테스트 파일에 대한 경로와 가상 테스트를 식별하기 위한 하위 경로가 모두 포함되어 있습니다.

LOCAL 구성 파일
인셀덤 공식 판매점인 침대 테스트 스위트의 하위 디렉토리를 로드하고 로컬 테스트 구성을 인스턴스화합니다.
상위 디렉토리에 대한 구성 복제 --- 이 구성의 루트
chain은 항상 테스트 스위트가 될 것입니다. 테스트 구성이 복제되면 침대 확인하다
lit.local.cfg 하위 디렉토리에 있는 파일. 있는 경우 이 파일이 로드되고
각 개별 디렉토리에 대한 구성을 전문화하는 데 사용됩니다. 이 시설은
선택적 테스트의 하위 디렉토리를 정의하거나 다른 구성을 변경하는 데 사용됩니다.
매개변수 --- 예를 들어 테스트 형식을 변경하거나 테스트를 식별하는 접미사
파일.

TEST 운영 출력 FORMAT
XNUMXD덴탈의 침대 테스트 실행에 대한 출력은 짧고 자세한 내용 모두에서 다음 스키마를 따릅니다.
모드(짧은 모드에서는 PASS 라인이 표시되지 않음). 이 스키마가 선택되었습니다.
머신에서 안정적으로 구문 분석하기가 상대적으로 쉬움(예: buildbot 로그에서
스크래핑) 및 기타 도구를 생성합니다.

각 테스트 결과는 다음과 일치하는 줄에 나타날 것으로 예상됩니다.

: ( )

어디에 PASS, FAIL, XFAIL, XPASS,
해결되지 않음 또는 지원되지 않음. IMPROVED 및 REGRESSED의 성능 결과 코드는 다음과 같습니다.
또한 허용됩니다.

XNUMXD덴탈의 <테스트 이름> 필드는 개행을 포함하지 않는 임의의 문자열로 구성될 수 있습니다.

XNUMXD덴탈의 <진행상황 정보> 필드는 (1/300) 또는
비어 있을 수 있지만 비어 있는 경우에도 괄호가 필요합니다.

각 테스트 결과에는 다음과 같은 추가(여러 줄) 로그 정보가 포함될 수 있습니다.
형식 :

시험 '( )'
... 로그 메시지 ...


어디에 <테스트 이름> 이전에 보고된 테스트의 이름이어야 합니다. <로그 구분자> 하는
"*"문자열 at 가장 작은 20자(권장 길이는 XNUMX자),
<후행 구분자> 임의의(분석되지 않은) 문자열입니다.

다음은 네 가지 테스트 A, B, C 및
D 및 실패한 테스트 C에 대한 로그 메시지:

합격: A (1/4)
통과: B(2/4)
실패: C(3/4)
******************** 테스트 'C' 실패 ********************
테스트 'C'는 종료 코드 1의 결과로 실패했습니다.
********************
통과: D (4/4)

문학 예 시험 준비 프로그램
XNUMXD덴탈의 침대 배포에는 테스트 스위트의 여러 예제 구현이 포함되어 있습니다.
예제 테스트 디렉토리.

onworks.net 서비스를 사용하여 lit-3.7 온라인 사용