menyala - Online di Awan

PROGRAM:

NAMA

menyala - Penguji Terintegrasi LLVM

RINGKASAN

bed [Pilihan] [tes]

DESKRIPSI

bed adalah alat portabel untuk menjalankan suite uji gaya LLVM dan Clang, meringkas
hasil, dan memberikan indikasi kegagalan. bed dirancang untuk menjadi ringan
alat pengujian dengan antarmuka pengguna sesederhana mungkin.

bed harus dijalankan dengan satu atau lebih tes untuk menjalankan yang ditentukan pada baris perintah. Tes bisa
menjadi file atau direktori pengujian individual untuk mencari tes (lihat UJI PENEMUAN).

Setiap tes yang ditentukan akan dieksekusi (berpotensi secara paralel) dan setelah semua tes selesai
telah dijalankan bed akan mencetak informasi ringkasan tentang jumlah tes yang lulus atau gagal
(Lihat UJI STATUS HASIL). Itu bed program akan dijalankan dengan kode keluar bukan nol jika ada
tes gagal.

Secara default bed akan menggunakan tampilan kemajuan yang ringkas dan hanya akan mencetak ringkasan
informasi untuk kegagalan pengujian. Lihat KELUARAN PILIHAN untuk opsi mengendalikan bed
tampilan dan keluaran kemajuan.

bed juga mencakup sejumlah opsi untuk mengontrol bagaimana pengujian dijalankan (spesifik)
fitur mungkin tergantung pada format pengujian tertentu). Lihat EKSEKUSI PILIHAN keahlian yang lebih
informasi.

Terakhir, bed juga mendukung opsi tambahan untuk hanya menjalankan sebagian dari opsi
ditentukan pada baris perintah, lihat SELEKSI PILIHAN for more information.

Pengguna yang tertarik dengan bed arsitektur atau desain a bed implementasi pengujian harus
melihat LIT INFRASTRUKTUR.

UMUM PILIHAN

-H, --membantu
Tunjukkan bed pesan bantuan.

-j N, --utas=N
Run N tes secara paralel. Secara default, ini dipilih secara otomatis untuk mencocokkan
jumlah CPU yang tersedia yang terdeteksi.

--config-prefix=NAMA
Pencarian untuk NAMA.cfg dan NAMA.site.cfg ketika mencari untuk uji suite, sebagai gantinya of
menyala.cfg dan lit.site.cfg.

-D NAMA, -D NAMA=VALUE, --param NAMA, --param NAMA=VALUE
Tambahkan parameter yang ditentukan pengguna NAMA dengan yang diberikan NILAI (atau string kosong jika tidak
diberikan). Arti dan penggunaan parameter ini bergantung pada rangkaian uji.

KELUARAN PILIHAN

-Q, --diam
Menekan output apa pun kecuali untuk kegagalan pengujian.

-S, --ringkas
Tampilkan lebih sedikit output, misalnya tidak menampilkan informasi tentang tes yang lulus.

-di, --bertele-tele
Tampilkan lebih banyak informasi tentang kegagalan pengujian, misalnya seluruh hasil pengujian
dari hasil tes saja.

-Sebuah, --tunjukkan semua
Tampilkan lebih banyak informasi tentang semua pengujian, misalnya seluruh baris perintah pengujian dan
output.

--tidak ada kemajuan-bar
Jangan gunakan bilah kemajuan berbasis kutukan.

--show-tidak didukung
Tampilkan nama pengujian yang tidak didukung.

--tunjukkan-xgagal
Tunjukkan nama tes yang diperkirakan gagal.

EKSEKUSI PILIHAN

--jalur=PATH
Tentukan tambahan PATH untuk digunakan saat mencari executable dalam pengujian.

--vg Jalankan tes individual di bawah valgrind (menggunakan alat memcheck). NS
--kode keluar-kesalahan argumen untuk valgrind digunakan sehingga kegagalan valgrind akan menyebabkan
program untuk keluar dengan status bukan nol.

Saat opsi ini diaktifkan, bed juga akan secara otomatis memberikan "valgrind"
fitur yang dapat digunakan untuk menonaktifkan secara kondisional (atau mengharapkan kegagalan) tertentu
tes.

--vg-arg=ARG
Ketika --vg digunakan, tentukan argumen tambahan untuk diteruskan ke valgrind itu sendiri.

--vg-bocor
Ketika --vg digunakan, aktifkan pemeriksaan kebocoran memori. Saat opsi ini diaktifkan, bed
juga akan secara otomatis memberikan "vg_leak"fitur yang dapat digunakan untuk
menonaktifkan kondisional (atau mengharapkan kegagalan dalam) tes tertentu.

--waktu-tes
Lacak waktu yang dibutuhkan oleh tes individu untuk dijalankan dan sertakan hasilnya dalam
keluaran ringkasan. Ini berguna untuk menentukan tes mana dalam rangkaian tes
mengambil sebagian besar waktu untuk mengeksekusi. Perhatikan bahwa opsi ini paling berguna dengan -j 1.

SELEKSI PILIHAN

--tes-maks=N
Jalankan paling banyak N tes dan kemudian mengakhiri.

--max-waktu=N
Belanjakan paling banyak N detik (kurang-lebih) menjalankan tes dan kemudian berhenti.

--mengacak
Jalankan tes dalam urutan acak.

TAMBAHAN PILIHAN

--debug
Run bed dalam mode debug, untuk men-debug masalah konfigurasi dan bed itu sendiri.

--show-suite
Daftar suite pengujian yang ditemukan dan keluar.

--tunjukkan-tes
Daftar semua tes yang ditemukan dan keluar.

EXIT STATUS

bed akan keluar dengan kode keluar 1 jika ada hasil FAIL atau XPASS. Sebaliknya,
itu akan keluar dengan status 0. Kode keluar lainnya digunakan untuk kegagalan terkait non-tes
(misalnya kesalahan pengguna atau kesalahan program internal).

UJI PENEMUAN

Masukan diteruskan ke bed dapat berupa tes individu, atau seluruh direktori atau
hierarki tes untuk dijalankan. Kapan bed dimulai, hal pertama yang dilakukannya adalah mengonversi
masukan ke dalam daftar lengkap tes untuk dijalankan sebagai bagian dari uji penemuan.

Dalam majalah bed model, setiap tes harus ada di dalam beberapa uji rangkaian. bed menyelesaikan input
ditentukan pada baris perintah untuk menguji suite dengan mencari ke atas dari jalur input
sampai menemukan menyala.cfg or lit.site.cfg mengajukan. File-file ini berfungsi sebagai penanda tes
suite dan sebagai file konfigurasi yang bed beban untuk memahami bagaimana menemukan dan
menjalankan tes di dalam test suite.

Sekali bed telah memetakan input ke dalam suite pengujian yang melintasi daftar input yang ditambahkan
tes untuk file individual dan secara rekursif mencari tes di direktori.

Perilaku ini memudahkan untuk menentukan subset pengujian yang akan dijalankan, sambil tetap mengizinkan
konfigurasi test suite untuk mengontrol dengan tepat bagaimana tes diinterpretasikan. Tambahan, bed
selalu mengidentifikasi pengujian berdasarkan rangkaian pengujian tempat mereka berada, dan jalur relatifnya di dalam
rangkaian tes. Untuk proyek yang dikonfigurasi dengan tepat, ini memungkinkan bed untuk memberikan kenyamanan
dan dukungan fleksibel untuk pembuatan di luar pohon.

UJI STATUS HASIL

Setiap tes pada akhirnya menghasilkan salah satu dari enam hasil berikut:

LULUS
Tes berhasil.

XGAGAL
Tes gagal, tapi itu yang diharapkan. Ini digunakan untuk format pengujian yang memungkinkan
menentukan bahwa tes saat ini tidak berfungsi, tetapi ingin membiarkannya di test suite.

XPASS
Tes berhasil, tetapi diperkirakan akan gagal. Ini digunakan untuk tes yang
ditentukan seperti yang diharapkan gagal, tetapi sekarang berhasil (umumnya karena fitur
mereka menguji rusak dan telah diperbaiki).

GAGAL
Tes gagal.

belum terselesaikan
Hasil tes tidak dapat ditentukan. Misalnya, ini terjadi ketika tes dapat
tidak dapat dijalankan, pengujian itu sendiri tidak valid, atau pengujian terputus.

TIDAK DIDUKUNG
Pengujian tidak didukung di lingkungan ini. Ini digunakan oleh format pengujian yang dapat
melaporkan pengujian yang tidak didukung.

Tergantung pada tes format tes dapat menghasilkan informasi tambahan tentang statusnya
(umumnya hanya untuk kegagalan). Lihat KELUARAN PILIHAN bagian untuk informasi lebih lanjut.

LIT INFRASTRUKTUR

Bagian ini menjelaskan tentang bed menguji arsitektur untuk pengguna yang tertarik untuk membuat yang baru
bed menguji implementasi, atau memperluas yang sudah ada.

bed yang tepat terutama merupakan infrastruktur untuk menemukan dan menjalankan tes arbitrer, dan
untuk mengekspos satu antarmuka yang mudah digunakan untuk pengujian ini. bed sendiri tidak tahu cara berlari
tes, alih-alih logika ini didefinisikan oleh uji suite.

UJI SUITE
Seperti dijelaskan dalam UJI PENEMUAN, tes selalu terletak di dalam a uji rangkaian. Suite pengujian
berfungsi untuk menentukan format tes yang dikandungnya, logika untuk menemukan tes tersebut,
dan informasi tambahan apa pun untuk menjalankan tes.

bed mengidentifikasi test suite sebagai direktori yang berisi menyala.cfg or lit.site.cfg file (lihat
juga --config-awalan). Test suite awalnya ditemukan dengan mencari secara rekursif
hierarki direktori untuk semua file input yang diteruskan pada baris perintah. Anda dapat gunakan
--show-suite untuk menampilkan rangkaian pengujian yang ditemukan saat startup.

Setelah suite uji ditemukan, file konfigurasinya dimuat. File konfigurasi sendiri adalah
Modul Python yang akan dieksekusi. Ketika file konfigurasi dieksekusi, dua hal penting:
variabel global telah ditentukan sebelumnya:

lit_config
Global bed objek konfigurasi (a Konfigurasi Lit instance), yang mendefinisikan builtin
format pengujian, parameter konfigurasi global, dan rutinitas pembantu lainnya untuk
mengimplementasikan konfigurasi pengujian.

config
Ini adalah objek konfigurasi (a Konfigurasi Pengujian misalnya) untuk rangkaian pengujian, yang
file config diharapkan terisi. Variabel berikut juga tersedia di:
config objek, beberapa di antaranya harus diatur oleh konfigurasi dan yang lainnya opsional atau
telah ditentukan sebelumnya:

nama [yg dibutuhkan] Nama rangkaian pengujian, untuk digunakan dalam laporan dan diagnostik.

format_tes [yg dibutuhkan] Objek format pengujian yang akan digunakan untuk menemukan dan menjalankan
tes di test suite. Umumnya ini akan menjadi format pengujian bawaan yang tersedia dari
itu lit.format modul.

uji_sumber_root Jalur sistem file ke root suite pengujian. Untuk build out-of-dir
ini adalah direktori yang akan dipindai untuk pengujian.

test_exec_root Untuk build out-of-dir, path ke root test suite di dalam objek
direktori. Di sinilah tes akan dijalankan dan file output sementara ditempatkan.

lingkungan Hidup Kamus yang mewakili lingkungan untuk digunakan saat menjalankan tes di
suite.

sufiks Untuk bed format pengujian yang memindai direktori untuk pengujian, variabel ini adalah daftar
sufiks untuk mengidentifikasi file uji. Digunakan oleh: Tes Sial.

substitusi Untuk bed format pengujian yang menggantikan variabel ke dalam skrip pengujian,
daftar substitusi yang harus dilakukan. Digunakan oleh: Tes Sial.

tidak didukung Tandai direktori yang tidak didukung, semua tes di dalamnya akan dilaporkan sebagai
tidak didukung. Digunakan oleh: Tes Sial.

induk Konfigurasi induk, ini adalah objek konfigurasi untuk direktori yang berisi
test suite, atau Tidak Ada.

akar Konfigurasi akar. Ini yang paling atas bed konfigurasi dalam proyek.

kegagalan pipa Biasanya tes menggunakan pipa shell gagal jika salah satu perintah pada pipa
gagal. Jika ini tidak diinginkan, menyetel variabel ini ke false hanya membuat pengujian gagal
jika perintah terakhir di pipa gagal.

UJI PENEMUAN
Setelah suite uji ditemukan, bed secara rekursif melintasi direktori sumber (mengikuti
uji_sumber_root) mencari tes. Kapan bed memasuki sub-direktori, pertama kali memeriksa ke
lihat apakah rangkaian pengujian bersarang didefinisikan di direktori itu. Jika demikian, itu memuat rangkaian tes itu
secara rekursif, jika tidak, itu akan membuat konfigurasi pengujian lokal untuk direktori (lihat LOKAL
KONFIGURASI FILE).

Tes diidentifikasi oleh rangkaian tes yang ada di dalamnya, dan jalur relatif
di dalam suite itu. Perhatikan bahwa jalur relatif mungkin tidak merujuk ke file sebenarnya di disk;
beberapa format pengujian (seperti Tes Google) mendefinisikan "tes virtual" yang memiliki jalur yang
berisi jalur ke file pengujian aktual dan sub jalur untuk mengidentifikasi pengujian virtual.

LOKAL KONFIGURASI FILE
Ketika bed memuat subdirektori dalam rangkaian pengujian, ini membuat konfigurasi pengujian lokal
dengan mengkloning konfigurasi untuk direktori induk --- root dari konfigurasi ini
rantai akan selalu menjadi test suite. Setelah konfigurasi pengujian dikloning bed memeriksa
lit.local.cfg file dalam subdirektori. Jika ada, file ini akan dimuat dan dapat
digunakan untuk mengkhususkan konfigurasi untuk setiap direktori individu. Fasilitas ini dapat berupa
digunakan untuk mendefinisikan subdirektori tes opsional, atau untuk mengubah konfigurasi lainnya
parameter --- misalnya, untuk mengubah format pengujian, atau akhiran yang mengidentifikasi pengujian
file.

UJI MENJALANKAN KELUARAN FORMAT
Grafik bed output untuk uji coba sesuai dengan skema berikut, baik pendek maupun verbose
mode (meskipun dalam mode pendek tidak ada garis LULUS yang akan ditampilkan). Skema ini telah dipilih
menjadi relatif mudah untuk diurai secara andal oleh mesin (misalnya di buildbot log
scraping), dan untuk alat lain untuk menghasilkan.

Setiap hasil tes diharapkan muncul pada baris yang cocok:

: ( )

dimana adalah hasil tes standar seperti LULUS, GAGAL, ​​XFAIL, XPASS,
TIDAK TERSELESAIKAN, atau TIDAK DIDUKUNG. Kode hasil kinerja IMPROVED dan REGRESSED adalah
juga diperbolehkan.

Grafik <tes nama> bidang dapat terdiri dari string arbitrer yang tidak mengandung baris baru.

Grafik <kemajuan info> bidang dapat digunakan untuk melaporkan informasi kemajuan seperti (1/300) atau
bisa kosong, tetapi meskipun kosong, tanda kurung tetap diperlukan.

Setiap hasil tes dapat menyertakan informasi log tambahan (multiline) sebagai berikut:
format:

TES '( )'
... pesan log ...


dimana <tes nama> harus nama tes yang dilaporkan sebelumnya, <catatan penggambar> adalah
string karakter "*" at paling sedikit panjang empat karakter (panjang yang disarankan adalah 20), dan
<mengikuti penggambar> adalah string arbitrer (tidak diuraikan).

Berikut ini adalah contoh output uji coba yang terdiri dari empat pengujian A, B, C, dan
D, dan pesan log untuk tes C yang gagal:

LULUS: A (1 dari 4)
LULUS: B (2 dari 4)
GAGAL: C (3 dari 4)
******************** UJI 'C' GAGAL ********************
Tes 'C' gagal karena kode keluar 1.
********************
LULUS: D (4 dari 4)

LIT CONTOH UJI
Grafik bed distribusi berisi beberapa contoh implementasi test suite di
ContohTes direktori.

Gunakan menyala online menggunakan layanan onworks.net