lit-3.6 - क्लाउड में ऑनलाइन

कार्यक्रम:

नाम

जलाया - एलएलवीएम एकीकृत परीक्षक

SYNOPSIS

बिस्तर [विकल्पों] [परीक्षण]

वर्णन

बिस्तर एलएलवीएम और क्लैंग शैली परीक्षण सूट को निष्पादित करने के लिए एक पोर्टेबल उपकरण है, उनके संक्षेप में
परिणाम, और विफलताओं का संकेत प्रदान करना। बिस्तर हल्का होने के लिए डिज़ाइन किया गया है
यथासंभव सरल यूजर इंटरफेस के साथ परीक्षण उपकरण।

बिस्तर एक या अधिक के साथ चलाया जाना चाहिए परीक्षण कमांड लाइन पर निर्दिष्ट चलाने के लिए। टेस्ट कर सकते हैं
परीक्षणों की खोज के लिए या तो व्यक्तिगत परीक्षण फ़ाइलें या निर्देशिकाएं हों (देखें टेस्ट खोज).

प्रत्येक निर्दिष्ट परीक्षण निष्पादित किया जाएगा (संभावित रूप से समानांतर में) और एक बार सभी परीक्षणों के बाद
भाग गया बिस्तर उत्तीर्ण या अनुत्तीर्ण परीक्षणों की संख्या पर सारांश जानकारी मुद्रित करेगा
(देखें टेस्ट स्थिति परिणामों). बिस्तर प्रोग्राम गैर-शून्य निकास कोड के साथ निष्पादित होगा यदि कोई हो
परीक्षण विफल।

डिफ़ॉल्ट रूप से बिस्तर एक संक्षिप्त प्रगति प्रदर्शन का उपयोग करेगा और केवल सारांश प्रिंट करेगा
परीक्षण विफलताओं के लिए जानकारी। देखो आउटपुट विकल्प विकल्पों को नियंत्रित करने के लिए बिस्तर
प्रगति प्रदर्शन और आउटपुट।

बिस्तर परीक्षणों को निष्पादित करने के तरीके को नियंत्रित करने के लिए कई विकल्प भी शामिल हैं (विशिष्ट
विशेषताएं विशेष परीक्षण प्रारूप पर निर्भर हो सकती हैं)। देखो कार्यान्वयन विकल्प और अधिक के लिए
जानकारी.

अंत में, बिस्तर केवल विकल्पों का एक सबसेट चलाने के लिए अतिरिक्त विकल्पों का भी समर्थन करता है
कमांड लाइन पर निर्दिष्ट, देखें चयन विकल्प देखें।

में रुचि रखने वाले उपयोगकर्ता बिस्तर वास्तुकला या डिजाइनिंग a बिस्तर परीक्षण कार्यान्वयन चाहिए
देखना जगमगाता आधारिक संरचना.

सामान्य विकल्प

-एच, --मदद
दिखाओ बिस्तर मदद संदेश।

-j N, --थ्रेड्स=एन
रन N समानांतर में परीक्षण। डिफ़ॉल्ट रूप से, यह स्वचालित रूप से मिलान करने के लिए चुना जाता है
उपलब्ध सीपीयू की संख्या।

--config-उपसर्ग=NAME
के लिए खोजें नाम.cfg और नामसाइट.cfg कब खोज एसटी परीक्षण सूट, बजाय of
जलाया.cfg और लिट.साइट.सीएफजी.

--परम नाम, --परम नाम = मान
एक उपयोगकर्ता परिभाषित पैरामीटर जोड़ें नाम दिए गए के साथ मूल्य (या खाली स्ट्रिंग यदि नहीं
दिया गया)। इन मापदंडों का अर्थ और उपयोग परीक्षण सूट पर निर्भर है।

आउटपुट विकल्प

-क्यू, --शांत
परीक्षण विफलताओं को छोड़कर किसी भी आउटपुट को दबाएं।

-एस, --संक्षिप्त
कम आउटपुट दिखाएं, उदाहरण के लिए पास होने वाले परीक्षणों की जानकारी न दिखाएं।

-में, --शब्दशः
परीक्षण विफलताओं के बारे में अधिक जानकारी दिखाएं, उदाहरण के लिए इसके बजाय संपूर्ण परीक्षण आउटपुट
सिर्फ परीक्षा परिणाम से।

--नहीं-प्रगति-बार
शाप आधारित प्रगति पट्टी का प्रयोग न करें।

--शो-असमर्थित
असमर्थित परीक्षणों के नाम दिखाएं।

--शो-एक्सफेल
उन परीक्षणों के नाम दिखाएं जिनके असफल होने की उम्मीद थी।

कार्यान्वयन विकल्प

--पथ=पथ
एक अतिरिक्त निर्दिष्ट करें पथ परीक्षणों में निष्पादन योग्य खोजते समय उपयोग करने के लिए।

--वीजी वालग्रिंड के तहत अलग-अलग परीक्षण चलाएं (मेमचेक टूल का उपयोग करके)। NS
--त्रुटि-निकास कोड वालग्रिंड के लिए तर्क का उपयोग किया जाता है ताकि वालग्रिंड विफलताओं का कारण बने
गैर-शून्य स्थिति से बाहर निकलने का कार्यक्रम।

जब यह विकल्प सक्षम हो जाता है, बिस्तर स्वचालित रूप से एक "वालग्रिंड"
सुविधा जिसे सशर्त रूप से अक्षम करने के लिए उपयोग किया जा सकता है (या विफलता की उम्मीद है) निश्चित
परीक्षण।

--vg-arg=ARG
. --वीजी उपयोग किया जाता है, पास करने के लिए एक अतिरिक्त तर्क निर्दिष्ट करें वालग्रिंड ही.

--vg-रिसाव
. --वीजी का उपयोग किया जाता है, स्मृति रिसाव जांच सक्षम करें। जब यह विकल्प सक्षम होता है, बिस्तर
स्वचालित रूप से एक "वीजी_लीक"सुविधा जिसका उपयोग किया जा सकता है
कुछ परीक्षणों में सशर्त रूप से अक्षम (या विफलता की उम्मीद)।

--समय-परीक्षण
व्यक्तिगत परीक्षणों को निष्पादित करने में लगने वाले दीवार समय को ट्रैक करें और इसमें परिणाम शामिल करें
सारांश आउटपुट। यह निर्धारित करने के लिए उपयोगी है कि परीक्षण सूट में कौन से परीक्षण हैं
निष्पादित करने के लिए सबसे अधिक समय लें। ध्यान दें कि यह विकल्प सबसे उपयोगी है -j 1.

चयन विकल्प

--मैक्स-टेस्ट = एन
ज्यादा से ज्यादा दौड़ें N परीक्षण और फिर समाप्त।

--मैक्स-टाइम = एन
ज्यादा से ज्यादा खर्च करें N सेकंड (लगभग) परीक्षण चल रहा है और फिर समाप्त हो गया है।

--शफल
यादृच्छिक क्रम में परीक्षण चलाएँ।

अतिरिक्त विकल्प

- दाढ़
रन बिस्तर डिबग मोड में, डिबगिंग कॉन्फ़िगरेशन समस्याओं के लिए और बिस्तर ही.

--शो-सूट
खोजे गए परीक्षण सूट की सूची बनाएं और बाहर निकलें।

--शो-परीक्षण
खोजे गए सभी परीक्षणों की सूची बनाएं और बाहर निकलें।

बाहर निकलें स्थिति

बिस्तर यदि कोई FAIL या XPASS परिणाम हैं, तो 1 के निकास कोड के साथ बाहर निकल जाएगा। अन्यथा,
यह स्थिति 0 के साथ बाहर निकल जाएगा। अन्य निकास कोड गैर-परीक्षण संबंधी विफलताओं के लिए उपयोग किए जाते हैं
(उदाहरण के लिए एक उपयोगकर्ता त्रुटि या एक आंतरिक प्रोग्राम त्रुटि)।

टेस्ट खोज

इनपुट्स को पास किया गया बिस्तर या तो व्यक्तिगत परीक्षण, या संपूर्ण निर्देशिकाएं हो सकती हैं या
चलाने के लिए परीक्षणों के पदानुक्रम। कब बिस्तर शुरू होता है, पहली चीज जो यह करता है वह है परिवर्तित
के भाग के रूप में चलाने के लिए परीक्षणों की पूरी सूची में इनपुट परीक्षण खोज.

में बिस्तर मॉडल, प्रत्येक परीक्षण किसी न किसी के अंदर मौजूद होना चाहिए परीक्षण सूट. बिस्तर इनपुट को हल करता है
इनपुट पथ से ऊपर की ओर खोज कर सूट का परीक्षण करने के लिए कमांड लाइन पर निर्दिष्ट
जब तक यह एक नहीं पाता जलाया.cfg or लिट.साइट.सीएफजी फ़ाइल। ये फ़ाइलें परीक्षण के एक मार्कर के रूप में काम करती हैं
सुइट्स और कॉन्फ़िगरेशन फ़ाइलों के रूप में जो बिस्तर खोजने के तरीके को समझने के लिए लोड करता है और
परीक्षण सूट के अंदर परीक्षण चलाएँ।

एक बार बिस्तर इनपुट्स को टेस्ट सूट में मैप किया है, यह इनपुट्स की सूची को जोड़ता है
अलग-अलग फाइलों के लिए परीक्षण और निर्देशिकाओं में परीक्षणों के लिए पुनरावर्ती खोज।

यह व्यवहार चलाने के लिए परीक्षणों का एक सबसेट निर्दिष्ट करना आसान बनाता है, जबकि अभी भी अनुमति देता है
परीक्षणों की व्याख्या कैसे की जाती है, इसे नियंत्रित करने के लिए परीक्षण सूट कॉन्फ़िगरेशन। इसके साथ - साथ, बिस्तर
हमेशा परीक्षण सूट द्वारा परीक्षण की पहचान करता है, और उनके अंदर उनके सापेक्ष पथ
परीक्षण सूट। उचित रूप से कॉन्फ़िगर की गई परियोजनाओं के लिए, यह अनुमति देता है बिस्तर सुविधाजनक प्रदान करने के लिए
और आउट-ऑफ़-ट्री बिल्ड के लिए लचीला समर्थन।

टेस्ट स्थिति परिणामों

प्रत्येक परीक्षण अंततः निम्नलिखित छह परिणामों में से एक उत्पन्न करता है:

पास
परीक्षण सफल रहा।

एक्सफेल
परीक्षण विफल रहा, लेकिन यह अपेक्षित है। इसका उपयोग परीक्षण प्रारूपों के लिए किया जाता है जो अनुमति देते हैं
यह निर्दिष्ट करते हुए कि एक परीक्षण वर्तमान में काम नहीं करता है, लेकिन इसे परीक्षण सूट में छोड़ना चाहते हैं।

XPASS
परीक्षण सफल रहा, लेकिन इसके असफल होने की उम्मीद थी। इसका उपयोग उन परीक्षणों के लिए किया जाता है जो थे
विफल होने की उम्मीद के रूप में निर्दिष्ट, लेकिन अब सफल हो रहे हैं (आमतौर पर क्योंकि सुविधा
उनका परीक्षण टूट गया था और उन्हें ठीक कर दिया गया है)।

असफल
परीक्षण विफल रहा।

अनसुलझे
परीक्षा परिणाम निर्धारित नहीं किया जा सका। उदाहरण के लिए, यह तब होता है जब परीक्षण हो सकता है
नहीं चलाया जा सकता है, परीक्षण स्वयं अमान्य है, या परीक्षण बाधित हो गया था।

असमर्थित
इस वातावरण में परीक्षण समर्थित नहीं है। इसका उपयोग परीक्षण प्रारूपों द्वारा किया जाता है जो कर सकते हैं
असमर्थित परीक्षणों की रिपोर्ट करें।

परीक्षण प्रारूप के आधार पर परीक्षण उनकी स्थिति के बारे में अतिरिक्त जानकारी उत्पन्न कर सकते हैं
(आमतौर पर केवल विफलताओं के लिए)। देखें आउटपुट विकल्प अधिक जानकारी के लिए अनुभाग।

जगमगाता आधारिक संरचना

यह खंड वर्णन करता है बिस्तर एक नया बनाने में रुचि रखने वाले उपयोगकर्ताओं के लिए परीक्षण वास्तुकला
बिस्तर परीक्षण कार्यान्वयन, या किसी मौजूदा का विस्तार करना।

बिस्तर उचित प्राथमिक रूप से मनमाने ढंग से परीक्षण खोजने और चलाने के लिए एक बुनियादी ढांचा है, और
इन परीक्षणों के लिए एकल सुविधाजनक इंटरफ़ेस को उजागर करने के लिए। बिस्तर खुद नहीं जानता कि कैसे दौड़ना है
परीक्षण, बल्कि इस तर्क द्वारा परिभाषित किया गया है परीक्षण सुइट्स.

टेस्ट सूट
के रूप में वर्णित टेस्ट खोज, परीक्षण हमेशा a . के अंदर स्थित होते हैं परीक्षण सूट. टेस्ट सूट
उन परीक्षणों के प्रारूप को परिभाषित करने के लिए कार्य करें जिनमें वे शामिल हैं, उन परीक्षणों को खोजने के लिए तर्क,
और परीक्षण चलाने के लिए कोई अतिरिक्त जानकारी।

बिस्तर निर्देशिकाओं के रूप में परीक्षण सूट की पहचान करता है जलाया.cfg or लिट.साइट.सीएफजी फ़ाइलें (देखें
भी --config-उपसर्ग) परीक्षण सूट शुरू में पुनरावर्ती खोज द्वारा खोजे जाते हैं
कमांड लाइन पर पारित सभी इनपुट फाइलों के लिए निर्देशिका पदानुक्रम। आप उपयोग कर सकते हैं
--शो-सूट खोजे गए परीक्षण सूट को स्टार्टअप पर प्रदर्शित करने के लिए।

एक बार एक परीक्षण सूट की खोज हो जाने के बाद, इसकी कॉन्फ़िगरेशन फ़ाइल लोड हो जाती है। कॉन्फ़िग फ़ाइलें स्वयं हैं
पायथन मॉड्यूल जिन्हें निष्पादित किया जाएगा। जब कॉन्फ़िग फ़ाइल निष्पादित होती है, तो दो महत्वपूर्ण
वैश्विक चर पूर्वनिर्धारित हैं:

लिट_कॉन्फिग
वैश्विक बिस्तर विन्यास वस्तु (a लिटकॉन्फिग उदाहरण), जो बिलिन को परिभाषित करता है
परीक्षण प्रारूप, वैश्विक कॉन्फ़िगरेशन पैरामीटर, और अन्य सहायक रूटीन के लिए
परीक्षण विन्यास को लागू करना।

विन्यास
यह कॉन्फ़िग ऑब्जेक्ट है (a टेस्टिंग कॉन्फिग उदाहरण) परीक्षण सूट के लिए, जो कि
config फ़ाइल के पॉप्युलेट होने की उम्मीद है। निम्नलिखित चर भी पर उपलब्ध हैं
विन्यास ऑब्जेक्ट, जिनमें से कुछ को कॉन्फ़िगरेशन द्वारा सेट किया जाना चाहिए और अन्य वैकल्पिक हैं या
पूर्वनिर्धारित:

नाम [आवश्यक] रिपोर्ट और निदान में उपयोग के लिए परीक्षण सूट का नाम।

टेस्ट_फॉर्मेट [आवश्यक] परीक्षण प्रारूप वस्तु जिसका उपयोग खोज और चलाने के लिए किया जाएगा
परीक्षण सूट में परीक्षण। आम तौर पर यह एक बिल्टिन टेस्ट फॉर्मेट होगा जो से उपलब्ध होगा
la जलाया प्रारूप मॉड्यूल।

टेस्ट_सोर्स_रूट परीक्षण सूट रूट के लिए फाइल सिस्टम पथ। आउट-ऑफ-डीआईआर बिल्ड . के लिए
यह वह निर्देशिका है जिसे परीक्षणों के लिए स्कैन किया जाएगा।

test_exec_root आउट-ऑफ-डीआईआर बिल्ड के लिए, ऑब्जेक्ट के अंदर टेस्ट सूट रूट का पथ
निर्देशिका। यह वह जगह है जहां परीक्षण चलाए जाएंगे और अस्थायी आउटपुट फाइलें रखी जाएंगी।

वातावरण में परीक्षण निष्पादित करते समय उपयोग करने के लिए पर्यावरण का प्रतिनिधित्व करने वाला एक शब्दकोश
सुइट।

प्रत्यय के लिए बिस्तर परीक्षण प्रारूप जो परीक्षणों के लिए निर्देशिकाओं को स्कैन करते हैं, यह चर एक सूची है
प्रत्यय के परीक्षण फ़ाइलों की पहचान करने के लिए। द्वारा इस्तेमाल किया: श टेस्ट.

प्रतिस्थापन के लिए बिस्तर परीक्षण प्रारूप जो एक परीक्षण स्क्रिप्ट में चर को प्रतिस्थापित करते हैं,
प्रदर्शन करने के लिए प्रतिस्थापन की सूची। द्वारा इस्तेमाल किया: श टेस्ट.

असमर्थित एक असमर्थित निर्देशिका को चिह्नित करें, इसके भीतर सभी परीक्षणों की रिपोर्ट इस प्रकार की जाएगी
असमर्थित। द्वारा इस्तेमाल किया: श टेस्ट.

माता - पिता पैरेंट कॉन्फ़िगरेशन, यह निर्देशिका के लिए कॉन्फ़िग ऑब्जेक्ट है जिसमें
परीक्षण सूट, या कोई नहीं।

जड़ रूट कॉन्फ़िगरेशन। यह सबसे ऊपर है बिस्तर परियोजना में विन्यास।

पाइप फेल आम तौर पर एक शेल पाइप का उपयोग करने वाला एक परीक्षण विफल हो जाता है यदि पाइप पर कोई भी आदेश होता है
विफल। यदि यह वांछित नहीं है, तो इस चर को गलत पर सेट करने से परीक्षण केवल विफल हो जाता है
यदि पाइप में अंतिम आदेश विफल हो जाता है।

टेस्ट खोज
एक बार परीक्षण सूट स्थित हो जाने के बाद, बिस्तर स्रोत निर्देशिका को पुनरावर्ती रूप से पार करता है (निम्नलिखित
टेस्ट_सोर्स_रूट) परीक्षणों की तलाश में। कब बिस्तर एक उप-निर्देशिका में प्रवेश करता है, यह पहले जाँच करता है
देखें कि उस निर्देशिका में नेस्टेड टेस्ट सूट परिभाषित किया गया है या नहीं। यदि ऐसा है, तो यह उस परीक्षण सूट को लोड करता है
पुनरावर्ती रूप से, अन्यथा यह निर्देशिका के लिए स्थानीय परीक्षण कॉन्फ़िगरेशन को तुरंत चालू करता है (देखें स्थानीय
विन्यास फ़ाइलें).

टेस्ट की पहचान उस टेस्ट सूट से होती है जिसमें वे शामिल होते हैं, और सापेक्ष पथ
उस सुइट के अंदर। ध्यान दें कि संबंधित पथ डिस्क पर वास्तविक फ़ाइल को संदर्भित नहीं कर सकता है;
कुछ परीक्षण प्रारूप (जैसे गूगल टेस्ट) "आभासी परीक्षण" को परिभाषित करें जिसमें एक पथ है जो
वास्तविक परीक्षण फ़ाइल के लिए पथ और वर्चुअल परीक्षण की पहचान करने के लिए एक उपपथ दोनों शामिल हैं।

स्थानीय विन्यास फ़ाइलें
. बिस्तर एक परीक्षण सूट में एक उपनिर्देशिका लोड करता है, यह स्थानीय परीक्षण कॉन्फ़िगरेशन को तुरंत चालू करता है
मूल दिशा के लिए कॉन्फ़िगरेशन को क्लोन करके --- इस कॉन्फ़िगरेशन का मूल
श्रृंखला हमेशा एक परीक्षण सूट होगी। एक बार परीक्षण विन्यास क्लोन किया जाता है बिस्तर के लिए जाँच करता है
जलाया.स्थानीय.cfg उपनिर्देशिका में फ़ाइल। यदि मौजूद है, तो यह फ़ाइल लोड हो जाएगी और हो सकती है
प्रत्येक व्यक्तिगत निर्देशिका के लिए कॉन्फ़िगरेशन को विशेषज्ञ बनाने के लिए उपयोग किया जाता है। यह सुविधा हो सकती है
वैकल्पिक परीक्षणों की उपनिर्देशिकाओं को परिभाषित करने के लिए, या अन्य कॉन्फ़िगरेशन को बदलने के लिए उपयोग किया जाता है
पैरामीटर --- उदाहरण के लिए, परीक्षण प्रारूप को बदलने के लिए, या प्रत्यय जो परीक्षण की पहचान करते हैं
फाइलें.

टेस्ट भागो आउटपुट FORMAT
RSI बिस्तर टेस्ट रन के लिए आउटपुट शॉर्ट और वर्बोज़ दोनों में निम्न स्कीमा के अनुरूप है
मोड (हालांकि शॉर्ट मोड में कोई पास लाइन नहीं दिखाई जाएगी)। यह स्कीमा चुना गया है
मशीन द्वारा विश्वसनीय रूप से पार्स करना अपेक्षाकृत आसान होना (उदाहरण के लिए बिल्डबॉट लॉग में)
स्क्रैपिंग), और अन्य उपकरणों को उत्पन्न करने के लिए।

प्रत्येक परीक्षा परिणाम से मेल खाने वाली पंक्ति पर प्रदर्शित होने की उम्मीद है:

: ( )

जहां एक मानक परीक्षा परिणाम है जैसे PASS, FAIL, XFAIL, XPASS,
अनसुलझे, या असमर्थित। IMPROVED और REGRESSED के प्रदर्शन परिणाम कोड हैं
भी अनुमति दी।

RSI <परीक्षण नाम> फ़ील्ड में एक मनमाना स्ट्रिंग शामिल हो सकती है जिसमें कोई नई रेखा नहीं है।

RSI <प्रगति जानकारी> फ़ील्ड का उपयोग प्रगति जानकारी की रिपोर्ट करने के लिए किया जा सकता है जैसे (1/300) या
खाली हो सकता है, लेकिन खाली होने पर भी कोष्ठक की आवश्यकता होती है।

प्रत्येक परीक्षा परिणाम में निम्नलिखित में अतिरिक्त (मल्टीलाइन) लॉग जानकारी शामिल हो सकती है
प्रारूप:

परीक्षण '( )'
... लॉग संदेश ...


जहां <परीक्षण नाम> पिछले रिपोर्ट किए गए परीक्षण का नाम होना चाहिए, <लॉग रेखाचित्र> एक
"*" वर्णों की स्ट्रिंग at कम से कम चार वर्ण लंबे (अनुशंसित लंबाई 20 है), और
<अनुगामी रेखाचित्र> एक मनमाना (अनपार्स्ड) स्ट्रिंग है।

निम्नलिखित टेस्ट रन आउटपुट का एक उदाहरण है जिसमें चार परीक्षण ए, बी, सी, और शामिल हैं
डी, और असफल परीक्षण सी के लिए एक लॉग संदेश:

पास: ए (1 में से 4)
पास: बी (2 में से 4)
विफल: सी (3 में से 4)
******* परीक्षण 'सी' विफल *******
निकास कोड 1 के परिणामस्वरूप परीक्षण 'सी' विफल रहा।
********************
पास: डी (4 में से 4)

जगमगाता उदाहरण परीक्षण
RSI बिस्तर वितरण में परीक्षण सूट के कई उदाहरण कार्यान्वयन शामिल हैं
उदाहरण परीक्षण निर्देशिका.

onworks.net सेवाओं का उपयोग करके ऑनलाइन लिट-3.6 का उपयोग करें