lit-3.7 - ออนไลน์ในคลาวด์

โครงการ:

ชื่อ

สว่าง - LLVM Integrated Tester

เรื่องย่อ

เตียง [ตัวเลือก] [การทดสอบ]

DESCRIPTION

เตียง เป็นเครื่องมือแบบพกพาสำหรับการรันชุดทดสอบ LLVM และ Clang โดยสรุป
ผลลัพธ์และการบ่งชี้ความล้มเหลว เตียง ถูกออกแบบให้มีน้ำหนักเบา
เครื่องมือทดสอบที่มีอินเทอร์เฟซผู้ใช้ที่เรียบง่ายที่สุด

เตียง ควรเรียกใช้ด้วยอย่างน้อยหนึ่งรายการ การทดสอบ เพื่อรันที่ระบุบนบรรทัดคำสั่ง การทดสอบสามารถ
เป็นไฟล์ทดสอบแต่ละไฟล์หรือไดเร็กทอรีเพื่อค้นหาการทดสอบ (ดู ทดสอบ DISCOVERY).

การทดสอบที่ระบุแต่ละรายการจะถูกดำเนินการ (อาจเป็นแบบขนาน) และเมื่อการทดสอบทั้งหมดมี
ถูกวิ่ง เตียง จะพิมพ์ข้อมูลสรุปจำนวนการทดสอบที่ผ่านหรือล้มเหลว
(ดู ทดสอบ สถานภาพ ผล) เตียง โปรแกรมจะดำเนินการด้วยรหัสออกที่ไม่ใช่ศูนย์ถ้ามี
การทดสอบล้มเหลว

ตามค่าเริ่มต้น เตียง จะใช้การแสดงคืบหน้าแบบรวบรัด และจะพิมพ์เฉพาะสรุป
ข้อมูลสำหรับความล้มเหลวในการทดสอบ ดู เอาท์พุท OPTIONS สำหรับตัวเลือกที่ควบคุม เตียง
การแสดงความคืบหน้าและการส่งออก

เตียง รวมถึงตัวเลือกมากมายสำหรับควบคุมวิธีดำเนินการทดสอบ (เฉพาะ
คุณสมบัติอาจขึ้นอยู่กับรูปแบบการทดสอบเฉพาะ) ดู การดำเนินการ OPTIONS สำหรับข้อมูลเพิ่มเติม
ข้อมูล

ในที่สุด เตียง ยังรองรับตัวเลือกเพิ่มเติมสำหรับการเรียกใช้ชุดย่อยของตัวเลือกเท่านั้น
ระบุไว้ในบรรทัดคำสั่ง ดู การคัดเลือก OPTIONS สำหรับข้อมูลเพิ่มเติม

ผู้ใช้ที่สนใจใน เตียง สถาปัตยกรรมหรือการออกแบบ a เตียง การทดสอบการใช้งานควร
เห็น LIT โครงสร้างพื้นฐาน.

ทั่วไป OPTIONS

-ชม, --ช่วยด้วย
แสดงตัว เตียง ข้อความช่วยเหลือ

-j N, --threads=น
วิ่ง N การทดสอบในแบบคู่ขนาน โดยค่าเริ่มต้น ค่านี้จะถูกเลือกโดยอัตโนมัติเพื่อให้ตรงกับ
จำนวน CPU ที่มีอยู่ที่ตรวจพบ

--config-คำนำหน้า=ชื่อ
ค้นหา ชื่อ.cfg และ ชื่อ.site.cfg เมื่อ ค้นหา for ทดสอบ ห้องสวีท, แทน of
lit.cfg และ lit.site.cfg.

-D ชื่อ, -D ชื่อ=ค่า, --พารามิเตอร์ ชื่อ, --พารามิเตอร์ ชื่อ=มูลค่า
เพิ่มพารามิเตอร์ที่กำหนดโดยผู้ใช้ ชื่อ กับสิ่งที่ให้มา มูลค่า (หรือสตริงว่างถ้าไม่ใช่
ที่ให้ไว้). ความหมายและการใช้พารามิเตอร์เหล่านี้ขึ้นอยู่กับชุดทดสอบ

เอาท์พุท OPTIONS

-NS, --เงียบ
ระงับเอาต์พุตใดๆ ยกเว้นการทดสอบที่ล้มเหลว

-NS, --รวบรัด
แสดงผลลัพธ์น้อยลง เช่น ไม่แสดงข้อมูลเกี่ยวกับการทดสอบที่ผ่าน

-ใน, --รายละเอียด
แสดงข้อมูลเพิ่มเติมเกี่ยวกับความล้มเหลวในการทดสอบ เช่น ผลการทดสอบทั้งหมดแทน
จากผลการทดสอบเท่านั้น

--no-แถบความคืบหน้า
อย่าใช้แถบความคืบหน้าตามคำสาป

--show-ไม่สนับสนุน
แสดงชื่อการทดสอบที่ไม่รองรับ

--show-xfail
แสดงชื่อการทดสอบที่คาดว่าจะล้มเหลว

การดำเนินการ OPTIONS

--เส้นทาง=PATH
ระบุเพิ่มเติม เส้นทาง เพื่อใช้เมื่อค้นหาไฟล์ปฏิบัติการในการทดสอบ

--vg เรียกใช้การทดสอบแต่ละรายการภายใต้ valgrind (โดยใช้เครื่องมือ memcheck) NS
--ข้อผิดพลาด-รหัสทางออก อาร์กิวเมนต์สำหรับ valgrind ใช้เพื่อให้ valgrind ล้มเหลวจะทำให้เกิด
โปรแกรมที่จะออกด้วยสถานะที่ไม่ใช่ศูนย์

เมื่อเปิดใช้งานตัวเลือกนี้ เตียง โดยอัตโนมัติจะให้ "วาลกริน"
คุณลักษณะที่สามารถใช้เพื่อปิดการใช้งานตามเงื่อนไข (หรือคาดว่าจะล้มเหลวใน) บางอย่าง
การทดสอบ

--vg-arg=ARG
เมื่อ --vg ใช้ระบุอาร์กิวเมนต์เพิ่มเติมเพื่อส่งผ่านไปยัง วาลกริน ตัวเอง

--vg-รั่ว
เมื่อ --vg ใช้เปิดใช้งานการตรวจสอบการรั่วไหลของหน่วยความจำ เมื่อเปิดใช้งานตัวเลือกนี้ เตียง
โดยอัตโนมัติจะให้ "vg_leak" คุณสมบัติที่ใช้ได้
ปิดใช้งานตามเงื่อนไข (หรือคาดว่าจะล้มเหลวใน) การทดสอบบางอย่าง

--การทดสอบเวลา
ติดตามเวลาที่ใช้ทดสอบแต่ละครั้งเพื่อดำเนินการและรวมผลลัพธ์ใน
สรุปผลลัพธ์ สิ่งนี้มีประโยชน์ในการพิจารณาว่าการทดสอบใดในชุดทดสอบ
ใช้เวลามากที่สุดในการดำเนินการ โปรดทราบว่าตัวเลือกนี้มีประโยชน์มากที่สุดกับ -j 1.

การคัดเลือก OPTIONS

--การทดสอบสูงสุด=N
วิ่งมากที่สุด N ทดสอบแล้วสิ้นสุด

--สูงสุด-เวลา=N
ใช้จ่ายมากที่สุด N วินาที (โดยประมาณ) ที่รันการทดสอบแล้วสิ้นสุด

--สับเปลี่ยน
เรียกใช้การทดสอบในลำดับแบบสุ่ม

เพิ่มเติม OPTIONS

--debug
วิ่ง เตียง ในโหมดดีบั๊ก สำหรับการดีบักปัญหาการกำหนดค่าและ เตียง ตัวเอง

--show-ห้องชุด
แสดงรายการชุดทดสอบที่ค้นพบและออก

--show-การทดสอบ
แสดงรายการการทดสอบและการออกที่ค้นพบทั้งหมด

EXIT สถานภาพ

เตียง จะออกด้วยรหัสทางออก 1 หากมีผล FAIL หรือ XPASS มิฉะนั้น,
มันจะออกพร้อมกับสถานะ 0 รหัสทางออกอื่น ๆ ใช้สำหรับความล้มเหลวที่ไม่เกี่ยวข้องกับการทดสอบ
(เช่น ข้อผิดพลาดของผู้ใช้หรือข้อผิดพลาดของโปรแกรมภายใน)

ทดสอบ DISCOVERY

ปัจจัยการผลิตส่งผ่านไปยัง เตียง สามารถเป็นการทดสอบเดี่ยวหรือทั้งไดเร็กทอรีหรือ
ลำดับชั้นของการทดสอบที่จะเรียกใช้ เมื่อไหร่ เตียง เริ่มต้นขึ้นสิ่งแรกที่ทำคือแปลง
ป้อนข้อมูลลงในรายการการทดสอบทั้งหมดเพื่อใช้เป็นส่วนหนึ่งของ ทดสอบ การค้นพบ.

ตัว Vortex Indicator ได้ถูกนำเสนอลงในนิตยสาร เตียง แบบอย่าง ทุกบททดสอบต้องมีอยู่ภายในบ้าง ทดสอบ ชุด. เตียง แก้ไขอินพุต
ระบุไว้ในบรรทัดคำสั่งเพื่อทดสอบห้องชุดโดยค้นหาจากอินพุตพา ธ ขึ้นไป
จนกว่าจะพบ lit.cfg or lit.site.cfg ไฟล์. ไฟล์เหล่านี้เป็นทั้งเครื่องหมายของการทดสอบ
ห้องสวีทและเป็นไฟล์การกำหนดค่าซึ่ง เตียง โหลดเพื่อให้เข้าใจวิธีการค้นหาและ
เรียกใช้การทดสอบภายในชุดทดสอบ

เคย เตียง ได้จับคู่อินพุตเป็นชุดทดสอบ โดยข้ามผ่านรายการอินพุตที่เพิ่ม
ทดสอบสำหรับไฟล์แต่ละไฟล์และค้นหาการทดสอบซ้ำในไดเร็กทอรี

ลักษณะการทำงานนี้ทำให้ง่ายต่อการระบุชุดย่อยของการทดสอบที่จะเรียกใช้ ในขณะที่ยังคงอนุญาตให้
การกำหนดค่าชุดทดสอบเพื่อควบคุมวิธีการตีความการทดสอบอย่างแม่นยำ นอกจากนี้, เตียง
ระบุการทดสอบโดยชุดการทดสอบที่พวกเขาอยู่เสมอและเส้นทางที่สัมพันธ์กันภายใน
ชุดทดสอบ สำหรับโปรเจ็กต์ที่กำหนดค่าอย่างเหมาะสม สิ่งนี้ช่วยให้ เตียง เพื่อให้สะดวก
และการสนับสนุนที่ยืดหยุ่นสำหรับบิลด์นอกโครงสร้าง

ทดสอบ สถานภาพ ผล

การทดสอบแต่ละครั้งจะสร้างหนึ่งในหกผลลัพธ์ต่อไปนี้:

PASS
การทดสอบประสบความสำเร็จ

เอ็กซ์เฟล
การทดสอบล้มเหลว แต่นั่นเป็นที่คาดไว้ ใช้สำหรับรูปแบบการทดสอบที่อนุญาต
โดยระบุว่าการทดสอบใช้งานไม่ได้ในขณะนี้ แต่ต้องการปล่อยไว้เป็นชุดทดสอบ

XPASS
การทดสอบสำเร็จ แต่คาดว่าจะล้มเหลว ใช้สำหรับการทดสอบที่
ระบุตามที่คาดว่าจะล้มเหลว แต่ตอนนี้กำลังประสบความสำเร็จ (โดยทั่วไปเนื่องจากคุณสมบัติ
พวกเขาทดสอบเสียและได้รับการแก้ไขแล้ว)

ล้มเหลว
การทดสอบล้มเหลว

ไม่ได้รับการแก้ไข
ไม่สามารถระบุผลการทดสอบได้ ตัวอย่างเช่น สิ่งนี้เกิดขึ้นเมื่อการทดสอบสามารถ
ไม่ได้รัน การทดสอบนั้นไม่ถูกต้อง หรือการทดสอบถูกขัดจังหวะ

ไม่สนับสนุน
ไม่รองรับการทดสอบในสภาพแวดล้อมนี้ ใช้โดยรูปแบบการทดสอบที่สามารถ
รายงานการทดสอบที่ไม่รองรับ

ขึ้นอยู่กับรูปแบบการทดสอบ การทดสอบอาจให้ข้อมูลเพิ่มเติมเกี่ยวกับสถานะของพวกเขา
(โดยทั่วไปสำหรับความล้มเหลวเท่านั้น) ดู เอาท์พุท OPTIONS สำหรับข้อมูลเพิ่มเติม

LIT โครงสร้างพื้นฐาน

ส่วนนี้จะอธิบายถึง เตียง สถาปัตยกรรมการทดสอบสำหรับผู้ใช้ที่สนใจในการสร้างใหม่
เตียง การทดสอบการใช้งานหรือการขยายที่มีอยู่

เตียง เหมาะสมเป็นโครงสร้างพื้นฐานสำหรับการค้นหาและเรียกใช้การทดสอบตามอำเภอใจเป็นหลัก และ
เพื่อแสดงอินเทอร์เฟซเดียวที่สะดวกต่อการทดสอบเหล่านี้ เตียง ตัวเองไม่รู้วิธีวิ่ง
การทดสอบ ค่อนข้างตรรกะนี้ถูกกำหนดโดย ทดสอบ ห้องสวีท.

ทดสอบ สวีท
ที่อธิบายไว้ใน ทดสอบ DISCOVERYการทดสอบจะอยู่ภายใน a . เสมอ ทดสอบ ชุด. ห้องทดสอบ
ทำหน้าที่กำหนดรูปแบบของการทดสอบที่มี ตรรกะในการค้นหาแบบทดสอบเหล่านั้น
และข้อมูลเพิ่มเติมเพื่อดำเนินการทดสอบ

เตียง ระบุชุดทดสอบเป็นไดเร็กทอรีที่มี lit.cfg or lit.site.cfg ไฟล์ (ดู
ด้วย --config-คำนำหน้า). เริ่มแรกพบชุดทดสอบโดยการค้นหาซ้ำๆ
ลำดับชั้นของไดเร็กทอรีสำหรับไฟล์อินพุตทั้งหมดที่ส่งผ่านบนบรรทัดคำสั่ง คุณสามารถใช้ได้
--show-ห้องชุด เพื่อแสดงชุดทดสอบที่ค้นพบเมื่อเริ่มต้น

เมื่อพบชุดทดสอบแล้ว ไฟล์กำหนดค่าจะถูกโหลด ไฟล์คอนฟิกเองคือ
โมดูล Python ที่จะดำเนินการ เมื่อไฟล์กำหนดค่าถูกเรียกใช้งาน สิ่งสำคัญสองประการ
ตัวแปรส่วนกลางถูกกำหนดไว้ล่วงหน้า:

lit_config
ระดับโลก เตียง วัตถุการกำหนดค่า (a LitConfig ตัวอย่าง) ซึ่งกำหนด buildin
รูปแบบการทดสอบ พารามิเตอร์การกำหนดค่าส่วนกลาง และรูทีนตัวช่วยอื่นๆ สำหรับ
การนำการกำหนดค่าการทดสอบไปใช้

การตั้งค่า
นี่คือวัตถุกำหนดค่า (a การทดสอบการกำหนดค่า ตัวอย่าง) สำหรับชุดทดสอบซึ่ง
ไฟล์ config คาดว่าจะเติม ตัวแปรต่อไปนี้ยังมีอยู่ใน
การตั้งค่า อ็อบเจ็กต์ซึ่งบางส่วนต้องตั้งค่าโดยการกำหนดค่าและอื่น ๆ เป็นทางเลือกหรือ
กำหนดไว้ล่วงหน้า:

ชื่อ [ที่จำเป็น] ชื่อของชุดทดสอบ สำหรับใช้ในรายงานและการวินิจฉัย

ทดสอบ_รูปแบบ [ที่จำเป็น] วัตถุรูปแบบการทดสอบที่จะใช้เพื่อค้นหาและเรียกใช้
การทดสอบในชุดทดสอบ โดยทั่วไปนี่จะเป็นรูปแบบการทดสอบที่มีอยู่ภายในจาก
สว่างรูปแบบ โมดูล.

test_source_root พาธระบบไฟล์ไปยังรูทชุดทดสอบ สำหรับบิลด์ที่ไม่อยู่ในขอบเขต
นี่คือไดเร็กทอรีที่จะสแกนเพื่อทดสอบ

test_exec_root สำหรับบิลด์ที่ไม่อยู่ในขอบเขตเส้นทางไปยังรูทชุดทดสอบภายในอ็อบเจกต์
ไดเร็กทอรี นี่คือที่ที่การทดสอบจะถูกรันและวางไฟล์เอาท์พุตชั่วคราว

สิ่งแวดล้อม พจนานุกรมที่แสดงถึงสภาพแวดล้อมที่จะใช้เมื่อดำเนินการทดสอบใน
ห้องสวีท

คำต่อท้าย สำหรับ เตียง รูปแบบการทดสอบที่สแกนไดเร็กทอรีสำหรับการทดสอบ ตัวแปรนี้คือ list
ของคำต่อท้ายเพื่อระบุไฟล์ทดสอบ ใช้โดย: ทดสอบ.

แทน สำหรับ เตียง รูปแบบการทดสอบซึ่งแทนที่ตัวแปรลงในสคริปต์ทดสอบ the
รายการทดแทนที่จะดำเนินการ ใช้โดย: ทดสอบ.

ได้รับการสนับสนุน ทำเครื่องหมายไดเร็กทอรีที่ไม่รองรับ การทดสอบทั้งหมดภายในจะถูกรายงานเป็น
ไม่รองรับ ใช้โดย: ทดสอบ.

ผู้ปกครอง คอนฟิกูเรชันพาเรนต์ นี่คือออบเจ็กต์ config สำหรับไดเร็กทอรีที่มี
ชุดทดสอบหรือไม่มี

ราก การกำหนดค่ารูท นี่คือสุดยอดที่สุด เตียง การกำหนดค่าในโครงการ

ท่อล้มเหลว โดยปกติการทดสอบโดยใช้เชลล์ไพพ์จะล้มเหลวหากมีคำสั่งใดๆ บนไพพ์
ล้มเหลว. หากไม่ต้องการ การตั้งค่าตัวแปรนี้เป็นเท็จจะทำให้การทดสอบล้มเหลวเท่านั้น
หากคำสั่งสุดท้ายในไพพ์ล้มเหลว

ทดสอบ DISCOVERY
เมื่อชุดทดสอบตั้งอยู่ เตียง ข้ามไดเรกทอรีต้นทางซ้ำ ๆ (กำลังติดตาม
test_source_root) กำลังมองหาการทดสอบ เมื่อไหร่ เตียง เข้าสู่ไดเร็กทอรีย่อย อันดับแรกให้ตรวจสอบไปที่
ดูว่าชุดทดสอบที่ซ้อนกันถูกกำหนดไว้ในไดเร็กทอรีนั้นหรือไม่ ถ้าใช่ มันจะโหลดชุดทดสอบนั้น
ซ้ำ ๆ มิฉะนั้นจะสร้างอินสแตนซ์การทดสอบในเครื่องสำหรับไดเร็กทอรี (ดู รู้ลึก
การกำหนดค่า ไฟล์).

การทดสอบถูกระบุโดยชุดการทดสอบที่อยู่ภายในและเส้นทางสัมพัทธ์
ภายในห้องชุดนั้น โปรดทราบว่าเส้นทางสัมพัทธ์อาจไม่อ้างอิงถึงไฟล์จริงบนดิสก์
รูปแบบการทดสอบบางรูปแบบ (เช่น GoogleTest) กำหนด "การทดสอบเสมือน" ซึ่งมีเส้นทางที่
มีทั้งพาธไปยังไฟล์ทดสอบจริงและพาธย่อยเพื่อระบุการทดสอบเสมือน

รู้ลึก การกำหนดค่า ไฟล์
เมื่อ เตียง โหลดไดเร็กทอรีย่อยในชุดทดสอบ มันสร้างอินสแตนซ์การกำหนดค่าการทดสอบในเครื่อง
โดยการโคลนคอนฟิกูเรชันสำหรับไดเร็กทอรีหลัก --- รูทของคอนฟิกูเรชันนี้
chain จะเป็นชุดทดสอบเสมอ เมื่อโคลนการกำหนดค่าการทดสอบแล้ว เตียง ตรวจสอบ a
lit.local.cfg ไฟล์ในไดเร็กทอรีย่อย หากมี ไฟล์นี้จะถูกโหลดและสามารถ
ใช้เพื่อเชี่ยวชาญการกำหนดค่าสำหรับแต่ละไดเร็กทอรี สิ่งอำนวยความสะดวกนี้สามารถ
ใช้เพื่อกำหนดไดเร็กทอรีย่อยของการทดสอบทางเลือก หรือเพื่อเปลี่ยนการกำหนดค่าอื่นๆ
พารามิเตอร์ --- ตัวอย่างเช่น เพื่อเปลี่ยนรูปแบบการทดสอบ หรือคำต่อท้ายที่ระบุ test
ไฟล์

ทดสอบ วิ่ง เอาท์พุท FORMAT
พื้นที่ เตียง เอาต์พุตสำหรับการทดสอบรันเป็นไปตามสคีมาต่อไปนี้ ทั้งแบบสั้นและแบบละเอียด
โหมด (แม้ว่าในโหมดสั้นจะไม่แสดงเส้น PASS) สคีมานี้ได้รับเลือกแล้ว
เพื่อให้ง่ายต่อการแยกวิเคราะห์โดยเครื่อง (เช่น ใน buildbot log
ขูด) และสำหรับเครื่องมืออื่นๆ ที่จะสร้าง

ผลการทดสอบแต่ละรายการคาดว่าจะปรากฏบนบรรทัดที่ตรงกับ:

: ( )

ที่ไหน เป็นผลการทดสอบมาตรฐาน เช่น PASS, FAIL, XFAIL, XPASS,
ไม่ได้รับการแก้ไขหรือไม่ได้รับการสนับสนุน รหัสผลการปฏิบัติงานของ IMPROVED และ REGRESSED คือ
อนุญาตด้วย

พื้นที่ <ทดสอบ ชื่อ> ฟิลด์สามารถประกอบด้วยสตริงที่ไม่มีการขึ้นบรรทัดใหม่

พื้นที่ <ความคืบหน้า ข้อมูล> สามารถใช้เพื่อรายงานข้อมูลความคืบหน้า เช่น (1/300) หรือ
ว่างเปล่าได้ แต่วงเล็บก็จำเป็นต้องเว้นแม้ว่างไว้

ผลการทดสอบแต่ละรายการอาจมีข้อมูลบันทึกเพิ่มเติม (หลายบรรทัด) ดังต่อไปนี้
รูปแบบ:

ทดสอบ '( )'
... บันทึกข้อความ ...


ที่ไหน <ทดสอบ ชื่อ> ควรเป็นชื่อของการทดสอบที่รายงานก่อนหน้านี้ <บันทึก ผู้กำหนด> คือ
สตริงของอักขระ "*" at น้อยที่สุด ยาวสี่ตัว (ความยาวที่แนะนำคือ 20) และ
<ต่อท้าย ผู้กำหนด> เป็นสตริง (ไม่แยกวิเคราะห์) โดยพลการ

ต่อไปนี้คือตัวอย่างเอาต์พุตการรันการทดสอบซึ่งประกอบด้วยการทดสอบสี่รายการ A, B, C และ
D และข้อความบันทึกสำหรับการทดสอบที่ล้มเหลว C:

ผ่าน: A (1 จาก 4)
ผ่าน: B (2 จาก 4)
ล้มเหลว: C (3 จาก 4)
******************** การทดสอบ 'C' ล้มเหลว ********************
การทดสอบ 'C' ล้มเหลวเนื่องจากรหัสออก 1
********************
ผ่าน: D (4 จาก 4)

LIT ตัวอย่าง ทดสอบ
พื้นที่ เตียง การกระจายมีตัวอย่างการใช้งานชุดทดสอบหลายชุดใน
ตัวอย่างข้อสอบ ไดเรกทอรี

ใช้ lit-3.7 ออนไลน์โดยใช้บริการ onworks.net