lit-3.8 - Trực tuyến trên đám mây

CHƯƠNG TRÌNH:

TÊN

lit - Bộ kiểm tra tích hợp LLVM

SYNOPSIS

lit [lựa chọn] [kiểm tra]

MÔ TẢ

lit là một công cụ di động để thực thi các bộ thử nghiệm kiểu LLVM và Clang, tóm tắt
kết quả và cung cấp dấu hiệu về sự thất bại. lit được thiết kế để có trọng lượng nhẹ
công cụ kiểm tra với giao diện người dùng càng đơn giản càng tốt.

lit nên được chạy với một hoặc nhiều kiểm tra để chạy được chỉ định trên dòng lệnh. Kiểm tra có thể
là các tệp hoặc thư mục thử nghiệm riêng lẻ để tìm kiếm các thử nghiệm (xem THI DISCOVERY).

Mỗi thử nghiệm được chỉ định sẽ được thực hiện (có khả năng song song) và khi tất cả các thử nghiệm đều có
đã được chạy lit sẽ in thông tin tóm tắt về số lượng bài kiểm tra đã đạt hoặc không đạt
(xem THI TÌNH TRẠNG KẾT QUẢ). Các lit chương trình sẽ thực thi với mã thoát khác XNUMX nếu có
các bài kiểm tra không thành công.

Theo mặc định lit sẽ sử dụng hiển thị tiến trình ngắn gọn và sẽ chỉ in tóm tắt
thông tin về các lỗi thử nghiệm. Nhìn thấy OUTPUT LỰA CHỌN cho các tùy chọn kiểm soát lit
hiển thị và xuất tiến trình.

lit cũng bao gồm một số tùy chọn để kiểm soát cách các thử nghiệm được thực hiện (cụ thể
các tính năng có thể phụ thuộc vào định dạng thử nghiệm cụ thể). Nhìn thấy CHẤP HÀNH LỰA CHỌN để biết thêm
thông tin.

Ngoài ra, thẻ cào lit cũng hỗ trợ các tùy chọn bổ sung để chỉ chạy một tập hợp con các tùy chọn
được chỉ định trên dòng lệnh, xem LỰA CHỌN LỰA CHỌN để biết thêm thông tin chi tiết.

Người dùng quan tâm đến lit kiến trúc hoặc thiết kế một lit thực hiện thử nghiệm nên
xem LIT CƠ SỞ HẠ TẦNG.

CÁC VẤN ĐỀ CHUNG LỰA CHỌN

-NS, --Cứu giúp
Hiển thị lit thông báo trợ giúp.

-j N, --threads = N
chạy N các bài kiểm tra song song. Theo mặc định, điều này tự động được chọn để khớp với
số lượng CPU khả dụng được phát hiện.

--config-prefix = NAME
Tìm kiếm TÊN.cfg và TÊN.site.cfg khi nào tìm kiếm cho thử nghiệm dãy phòng, thay vì of
lit.cfg và lit.site.cfg.

-D TÊN, -D TÊN = GIÁ TRỊ, --param TÊN, --param TÊN = GIÁ TRỊ
Thêm thông số do người dùng xác định TÊN với những gì đã cho VALUE (hoặc chuỗi trống nếu không
được cho). Ý nghĩa và việc sử dụng các tham số này phụ thuộc vào bộ thử nghiệm.

OUTPUT LỰA CHỌN

-NS, --Yên lặng
Chặn bất kỳ đầu ra nào ngoại trừ các lỗi kiểm tra.

-S, --súc tích
Hiển thị ít đầu ra hơn, chẳng hạn như không hiển thị thông tin về các bài kiểm tra đạt.

-v, --dài dòng
Hiển thị thêm thông tin về các lỗi kiểm tra, chẳng hạn như toàn bộ kết quả kiểm tra thay thế
chỉ là kết quả thử nghiệm.

-một, --hiển thị tất cả
Hiển thị thêm thông tin về tất cả các bài kiểm tra, ví dụ: toàn bộ dòng lệnh kiểm tra và
đầu ra.

- không có thanh tiến trình
Không sử dụng thanh tiến trình dựa trên lời nguyền.

--show-không được hỗ trợ
Hiển thị tên của các bài kiểm tra không được hỗ trợ.

--show-xfail
Hiển thị tên các bài kiểm tra dự kiến ​​sẽ thất bại.

CHẤP HÀNH LỰA CHỌN

--path = PATH
Chỉ định một bổ sung PATH để sử dụng khi tìm kiếm tệp thực thi trong các thử nghiệm.

--vg Chạy các bài kiểm tra riêng lẻ theo valgrind (sử dụng công cụ ghi nhớ). Các
--mã thoát lỗi đối số cho giá trị được sử dụng để các lỗi giá trị sẽ gây ra
chương trình để thoát với trạng thái khác không.

Khi tùy chọn này được bật, lit cũng sẽ tự động cung cấp một "valgrind"
tính năng có thể được sử dụng để vô hiệu hóa có điều kiện (hoặc dự kiến ​​không thành công trong) một số
kiểm tra.

--vg-arg = ARG
Thời Gian --vg được sử dụng, chỉ định một đối số bổ sung để chuyển đến valgrind chính nó.

--vg-rò rỉ
Thời Gian --vg được sử dụng, cho phép kiểm tra rò rỉ bộ nhớ. Khi tùy chọn này được bật, lit
cũng sẽ tự động cung cấp một "vg_leak"tính năng có thể được sử dụng để
có điều kiện vô hiệu hóa (hoặc thất bại trong) các thử nghiệm nhất định.

- kiểm tra thời gian
Theo dõi thời gian tường mà các bài kiểm tra cá nhân cần để thực hiện và bao gồm các kết quả trong
kết quả tóm tắt. Điều này rất hữu ích để xác định những bài kiểm tra nào trong bộ thử nghiệm
mất nhiều thời gian nhất để thực hiện. Lưu ý rằng tùy chọn này hữu ích nhất với -j 1.

LỰA CHỌN LỰA CHỌN

--max-tests = N
Chạy nhiều nhất N kiểm tra và sau đó chấm dứt.

--max-time = N
Chi tiêu nhiều nhất N giây (khoảng) chạy thử nghiệm và sau đó kết thúc.

--luffle
Chạy các bài kiểm tra theo thứ tự ngẫu nhiên.

BỔ SUNG LỰA CHỌN

--gỡ lỗi
chạy lit trong chế độ gỡ lỗi, để gỡ lỗi các vấn đề cấu hình và lit chính nó.

--show-suite
Liệt kê các bộ thử nghiệm đã phát hiện và thoát.

--show-kiểm tra
Liệt kê tất cả các bài kiểm tra đã phát hiện và thoát.

EXIT TÌNH TRẠNG

lit sẽ thoát với mã thoát là 1 nếu có bất kỳ kết quả FAIL hoặc XPASS nào. Nếu không thì,
nó sẽ thoát với trạng thái 0. Các mã thoát khác được sử dụng cho các lỗi không liên quan đến kiểm tra
(ví dụ lỗi người dùng hoặc lỗi chương trình nội bộ).

THI DISCOVERY

Các đầu vào được chuyển đến lit có thể là các bài kiểm tra riêng lẻ hoặc toàn bộ thư mục hoặc
phân cấp các bài kiểm tra để chạy. Khi nào lit khởi động, điều đầu tiên nó làm là chuyển đổi
đầu vào vào danh sách đầy đủ các thử nghiệm để chạy như một phần của thử nghiệm phát hiện.

Trong tạp chí lit mô hình, mọi thử nghiệm phải tồn tại bên trong một số thử nghiệm bộ. lit giải quyết các đầu vào
được chỉ định trên dòng lệnh để kiểm tra các bộ bằng cách tìm kiếm trở lên từ đường dẫn đầu vào
cho đến khi nó tìm thấy một lit.cfg or lit.site.cfg tập tin. Các tệp này vừa đóng vai trò là điểm đánh dấu kiểm tra
bộ và dưới dạng tệp cấu hình lit tải để hiểu cách tìm và
chạy các bài kiểm tra bên trong bộ kiểm tra.

Một khi lit đã ánh xạ các đầu vào thành các bộ thử nghiệm, nó duyệt qua danh sách các đầu vào đang thêm
kiểm tra các tệp riêng lẻ và tìm kiếm đệ quy các kiểm tra trong thư mục.

Hành vi này giúp dễ dàng chỉ định một tập hợp con các thử nghiệm để chạy, trong khi vẫn cho phép
cấu hình bộ kiểm tra để kiểm soát chính xác cách các bài kiểm tra được diễn giải. Ngoài ra, lit
luôn xác định các thử nghiệm theo bộ thử nghiệm mà chúng có trong đó và đường dẫn tương đối của chúng bên trong
bộ thử nghiệm. Đối với các dự án được định cấu hình thích hợp, điều này cho phép lit để cung cấp thuận tiện
và hỗ trợ linh hoạt cho các bản dựng ngoài cây.

THI TÌNH TRẠNG KẾT QUẢ

Mỗi thử nghiệm cuối cùng tạo ra một trong sáu kết quả sau:

PASS
Thử nghiệm đã thành công.

XFAIL
Thử nghiệm không thành công, nhưng đó là dự kiến. Điều này được sử dụng cho các định dạng thử nghiệm cho phép
chỉ định rằng một bài kiểm tra hiện không hoạt động, nhưng bạn muốn để nó trong bộ kiểm tra.

XPASS
Thử nghiệm thành công, nhưng nó được cho là không thành công. Điều này được sử dụng cho các bài kiểm tra
được chỉ định như mong đợi sẽ không thành công, nhưng hiện đang thành công (thường là do tính năng
họ kiểm tra đã bị hỏng và đã được sửa).

FAIL
Thử nghiệm không thành công.

CHƯA GIẢI QUYẾT
Kết quả thử nghiệm không thể được xác định. Ví dụ: điều này xảy ra khi thử nghiệm có thể
không được chạy, bản thân bài kiểm tra không hợp lệ hoặc quá trình kiểm tra bị gián đoạn.

KHÔNG ĐƯỢC HỖ TRỢ
Thử nghiệm không được hỗ trợ trong môi trường này. Điều này được sử dụng bởi các định dạng thử nghiệm có thể
báo cáo các bài kiểm tra không được hỗ trợ.

Tùy thuộc vào định dạng thử nghiệm, các bài kiểm tra có thể tạo ra thông tin bổ sung về trạng thái của chúng
(thường chỉ dành cho những trường hợp hỏng hóc). Xem OUTPUT LỰA CHỌN phần để biết thêm thông tin.

LIT CƠ SỞ HẠ TẦNG

Phần này mô tả lit kiến trúc thử nghiệm cho người dùng quan tâm đến việc tạo mới
lit triển khai thử nghiệm hoặc mở rộng một triển khai hiện có.

lit thích hợp chủ yếu là một cơ sở hạ tầng để khám phá và chạy các thử nghiệm tùy ý, và
để hiển thị một giao diện thuận tiện duy nhất cho các thử nghiệm này. lit bản thân nó không biết làm thế nào để chạy
kiểm tra, đúng hơn logic này được xác định bởi thử nghiệm suites.

THI PHÙ HỢP
Như mô tả trong THI DISCOVERY, các bài kiểm tra luôn được đặt bên trong thử nghiệm bộ. Bộ thử nghiệm
phục vụ để xác định định dạng của các bài kiểm tra mà chúng chứa, logic để tìm các bài kiểm tra đó,
và bất kỳ thông tin bổ sung nào để chạy thử nghiệm.

lit xác định các bộ thử nghiệm là các thư mục chứa lit.cfg or lit.site.cfg tập tin (xem
Ngoài ra --config-tiền tố). Bộ thử nghiệm được phát hiện ban đầu bằng cách tìm kiếm đệ quy
phân cấp thư mục cho tất cả các tệp đầu vào được truyền trên dòng lệnh. Bạn có thể dùng
--show-suite để hiển thị các bộ thử nghiệm được phát hiện khi khởi động.

Khi một bộ thử nghiệm được phát hiện, tệp cấu hình của nó sẽ được tải. Bản thân các tệp cấu hình là
Các mô-đun Python sẽ được thực thi. Khi tệp cấu hình được thực thi, hai điều quan trọng
các biến toàn cục được xác định trước:

lit_config
Toàn cầu lit đối tượng cấu hình (a LitConfig instance), xác định nội trang
định dạng thử nghiệm, tham số cấu hình chung và các quy trình khác của trình trợ giúp cho
triển khai các cấu hình thử nghiệm.

cấu hình
Đây là đối tượng cấu hình (a thử nghiệmConfig ví dụ) cho bộ thử nghiệm, mà
tập tin cấu hình dự kiến ​​sẽ được điền. Các biến sau đây cũng có sẵn trên
cấu hình đối tượng, một số trong số đó phải được đặt bởi cấu hình và những đối tượng khác là tùy chọn hoặc
xác định trước:

tên [yêu cầu] Tên của bộ thử nghiệm, để sử dụng trong báo cáo và chẩn đoán.

test_format [yêu cầu] Đối tượng định dạng thử nghiệm sẽ được sử dụng để khám phá và chạy
thử nghiệm trong bộ thử nghiệm. Nói chung, đây sẽ là một định dạng kiểm tra nội dung có sẵn từ
các lit.formats mô-đun.

test_source_root Đường dẫn hệ thống tệp đến thư mục gốc của bộ thử nghiệm. Đối với các bản dựng ngoài dir
đây là thư mục sẽ được quét để kiểm tra.

test_exec_root Đối với các bản dựng out-of-dir, đường dẫn đến bộ thử nghiệm gốc bên trong đối tượng
danh mục. Đây là nơi các bài kiểm tra sẽ được chạy và các tệp đầu ra tạm thời được đặt.

môi trường Một từ điển đại diện cho môi trường để sử dụng khi thực hiện các bài kiểm tra trong
bộ.

hậu tố Trong lit các định dạng kiểm tra quét thư mục để kiểm tra, biến này là một danh sách
các hậu tố để xác định các tệp thử nghiệm. Được sử dụng bởi: ShTest.

sự thay thế Trong lit các định dạng thử nghiệm thay thế các biến thành một tập lệnh thử nghiệm,
danh sách các thay thế để thực hiện. Được sử dụng bởi: ShTest.

không được hỗ trợ Đánh dấu một thư mục không được hỗ trợ, tất cả các bài kiểm tra trong đó sẽ được báo cáo là
không được hỗ trợ. Được sử dụng bởi: ShTest.

cha mẹ Cấu hình mẹ, đây là đối tượng cấu hình cho thư mục chứa
bộ thử nghiệm, hoặc Không có.

nguồn gốc Cấu hình gốc. Đây là hàng đầu lit cấu hình trong dự án.

cái ống nước Thông thường, thử nghiệm sử dụng ống shell sẽ không thành công nếu bất kỳ lệnh nào trên ống
Thất bại. Nếu điều này không được mong muốn, việc đặt biến này thành false sẽ chỉ làm cho thử nghiệm không thành công
nếu lệnh cuối cùng trong đường ống không thành công.

THI DISCOVERY
Sau khi các dãy phòng thử nghiệm được định vị, lit đệ quy duyệt qua thư mục nguồn (sau
test_source_root) đang tìm kiếm các bài kiểm tra. Khi nào lit vào một thư mục con, trước tiên nó sẽ kiểm tra
xem liệu một bộ thử nghiệm lồng nhau có được xác định trong thư mục đó hay không. Nếu vậy, nó sẽ tải bộ thử nghiệm đó
đệ quy, nếu không, nó khởi tạo cấu hình thử nghiệm cục bộ cho thư mục (xem ĐỊA PHƯƠNG
CẤU HÌNH CÁC TẬP TIN).

Các thử nghiệm được xác định bởi bộ thử nghiệm mà chúng chứa bên trong và đường dẫn tương đối
bên trong dãy phòng đó. Lưu ý rằng đường dẫn tương đối có thể không tham chiếu đến tệp thực trên đĩa;
một số định dạng thử nghiệm (chẳng hạn như GoogleKiểm tra) xác định "thử nghiệm ảo" có đường dẫn
chứa cả đường dẫn đến tệp thử nghiệm thực tế và đường dẫn con để xác định thử nghiệm ảo.

ĐỊA PHƯƠNG CẤU HÌNH CÁC TẬP TIN
Thời Gian lit tải một thư mục con trong bộ thử nghiệm, nó khởi tạo cấu hình thử nghiệm cục bộ
bằng cách sao chép cấu hình cho thư mục mẹ --- thư mục gốc của cấu hình này
chuỗi sẽ luôn là một bộ thử nghiệm. Sau khi cấu hình thử nghiệm được nhân bản lit kiểm tra một
lit.local.cfg tệp trong thư mục con. Nếu có, tệp này sẽ được tải và có thể
dùng để chuyên cấu hình cho từng thư mục riêng lẻ. Cơ sở này có thể được
được sử dụng để xác định các thư mục con của các bài kiểm tra tùy chọn hoặc để thay đổi cấu hình khác
tham số --- ví dụ, để thay đổi định dạng kiểm tra hoặc các hậu tố xác định kiểm tra
các tập tin.

THI CHẠY OUTPUT FORMAT
Sản phẩm lit đầu ra cho một lần chạy thử nghiệm tuân theo lược đồ sau, cả ngắn và dài
(mặc dù ở chế độ ngắn không có dòng PASS nào được hiển thị). Lược đồ này đã được chọn
tương đối dễ dàng để phân tích cú pháp một cách đáng tin cậy bằng máy (ví dụ: trong nhật ký buildbot
cạo), và để tạo ra các công cụ khác.

Mỗi kết quả thử nghiệm được mong đợi xuất hiện trên một dòng khớp với:

: ( )

Ở đâu là kết quả kiểm tra tiêu chuẩn như PASS, FAIL, XFAIL, XPASS,
KHÔNG ĐƯỢC GIẢI QUYẾT, hoặc KHÔNG ĐƯỢC HỖ TRỢ. Các mã kết quả hoạt động của IMPROVED và REGRESSED là
cũng được phép.

Sản phẩm <kiểm tra tên> trường có thể bao gồm một chuỗi tùy ý không chứa dòng mới.

Sản phẩm <tiến triển thông tin> trường có thể được sử dụng để báo cáo thông tin tiến độ, chẳng hạn như (1/300) hoặc
có thể để trống, nhưng ngay cả khi để trống dấu ngoặc đơn là bắt buộc.

Mỗi kết quả thử nghiệm có thể bao gồm thông tin nhật ký bổ sung (đa dòng) như sau
định dạng:

KIỂM TRA '( ) '
... nhật ký tin nhắn ...


Ở đâu <kiểm tra tên> phải là tên của thử nghiệm được báo cáo trước đó, <nhật ký người phân định> là một
chuỗi ký tự "*" at ít nhất dài bốn ký tự (độ dài khuyến nghị là 20) và
<theo sau người phân định> là một chuỗi (chưa được phân tích) tùy ý.

Sau đây là một ví dụ về đầu ra chạy thử nghiệm bao gồm bốn thử nghiệm A, B, C và
D và thông báo nhật ký cho bài kiểm tra không đạt C:

PASS: A (1 trong 4)
PASS: B (2/4)
THẤT ​​BẠI: C (3/4)
******************** KIỂM TRA 'C' THẤT BẠI ********************
Kiểm tra 'C' không thành công do mã thoát 1.
********************
PASS: D (4/4)

LIT THÍ DỤ NGHIỆM
Sản phẩm lit phân phối chứa một số triển khai ví dụ của các bộ thử nghiệm trong
Thí dụ thư mục.

Sử dụng trực tuyến lit-3.8 bằng các dịch vụ onworks.net