lit-3.8 - آنلاین در ابر

برنامه:

نام

روشن - تستر مجتمع LLVM

خلاصه

بستر [گزینه های] [تست]

شرح

بستر یک ابزار قابل حمل برای اجرای مجموعه‌های تست سبک LLVM و Clang است که خلاصه‌ای از آنهاست
نتایج، و ارائه نشانه ای از شکست. بستر سبک طراحی شده است
ابزار تست با ساده ترین رابط کاربری که ممکن است.

بستر باید با یک یا چند اجرا شود تست برای اجرا در خط فرمان مشخص شده است. تست ها می توانند
برای جستجوی آزمایش‌ها، فایل‌های آزمایشی یا دایرکتوری‌های جداگانه باشند (نگاه کنید به تست کشف).

هر تست مشخص شده (به طور بالقوه به صورت موازی) و پس از انجام تمام تست ها اجرا می شود
اجرا شده است بستر اطلاعات خلاصه ای را در مورد تعداد آزمون هایی که قبول شده یا شکست خورده اند چاپ می کند
(نگاه کنید به تست وضعیت نتایج). بستر در صورت وجود، برنامه با یک کد خروج غیر صفر اجرا می شود
تست ها شکست می خورند

به صورت پیش فرض بستر از یک صفحه نمایش پیشرفت مختصر استفاده می کند و فقط خلاصه را چاپ می کند
اطلاعات مربوط به شکست تست دیدن OUTPUT OPTIONS برای گزینه های کنترل کننده بستر
نمایش پیشرفت و خروجی

بستر همچنین شامل تعدادی گزینه برای کنترل نحوه اجرای تست ها می شود (ویژه
ویژگی ها ممکن است به فرمت آزمون خاص بستگی داشته باشد). دیدن اعدام OPTIONS برای اطلاعات بیشتر
اطلاعات.

در نهایت، بستر همچنین از گزینه های اضافی فقط برای اجرای زیرمجموعه ای از گزینه ها پشتیبانی می کند
مشخص شده در خط فرمان، ببینید انتخاب OPTIONS برای اطلاعات بیشتر.

کاربران علاقه مند به بستر معماری یا طراحی الف بستر اجرای آزمایش باید
دیدن LIT زیر ساخت.

عمومی OPTIONS

-h، --کمک
نشان دادن بستر پیام کمک

-j N, --threads=N
دویدن N تست های موازی به طور پیش فرض، این به طور خودکار برای مطابقت با آن انتخاب می شود
تعداد CPUهای موجود شناسایی شده

--config-prefix=NAME
جستجو برای نام.cfg و نام.site.cfg چه زمانی جستجو برای آزمون سوئیت، در عوض of
lit.cfg و lit.site.cfg.

-D نام، -D NAME=VALUE، --پارام نام، --پارام NAME=VALUE
یک پارامتر تعریف شده توسط کاربر اضافه کنید نام با داده شده ارزش (یا رشته خالی اگر نه
داده شده). معنی و استفاده از این پارامترها وابسته به مجموعه تست است.

OUTPUT OPTIONS

-q، --ساکت
هر خروجی را به جز خرابی های تست سرکوب کنید.

-s ، -- مختصر
خروجی کمتری را نشان دهید، برای مثال اطلاعاتی در مورد آزمون‌هایی که موفق می‌شوند نشان داده نشود.

-v، -- پرحرف
نمایش اطلاعات بیشتر در مورد شکست های تست، به عنوان مثال کل خروجی تست به جای آن
فقط از نتیجه آزمایش

-آ، --نمایش همه
نمایش اطلاعات بیشتر در مورد تمام تست ها، به عنوان مثال کل خط فرمان تست و
خروجی.

--بدون پیشرفت-نوار
از نوار پیشرفت مبتنی بر نفرین استفاده نکنید.

--نمایش-پشتیبانی نمی شود
نام تست های پشتیبانی نشده را نشان دهید.

--show-xfail
نام آزمون هایی را که انتظار می رفت شکست بخورند را نشان دهید.

اعدام OPTIONS

--path=PATH
یک مورد اضافی را مشخص کنید PATH برای استفاده در هنگام جستجوی فایل های اجرایی در تست ها.

--vg تست های فردی را تحت valgrind (با استفاده از ابزار memcheck) اجرا کنید. در
--error-exitcode آرگومان برای valgrind استفاده می شود تا خرابی valgrind باعث شود
برنامه برای خروج با وضعیت غیر صفر.

وقتی این گزینه فعال است، بستر همچنین به طور خودکار یک "والگریند"
قابلیتی که می تواند برای غیرفعال کردن مشروط (یا انتظار شکست در) برخی مورد استفاده قرار گیرد
آزمایشات

--vg-arg=ARG
چه زمانی --vg استفاده می شود، یک آرگومان اضافی برای انتقال به آن مشخص کنید والگریند خود.

--vg-نشت
چه زمانی --vg استفاده می شود، بررسی نشت حافظه را فعال کنید. وقتی این گزینه فعال است، بستر
همچنین به طور خودکار یک "vg_leak"ویژگی که می توان از آن استفاده کرد
تست های خاص را به طور مشروط غیرفعال کنید (یا انتظار شکست را داشته باشید).

-- تست های زمان
ردیابی زمان دیواری که آزمایش‌های فردی انجام می‌شوند و نتایج را در آن لحاظ کنید
خروجی خلاصه این برای تعیین اینکه کدام تست در یک مجموعه آزمایشی مفید است
بیشترین زمان را برای اجرا صرف کنید توجه داشته باشید که این گزینه بیشترین کاربرد را دارد -j 1.

انتخاب OPTIONS

--max-tests=N
حداکثر بدوید N آزمایش می کند و سپس خاتمه می دهد.

--max-time=N
حداکثر خرج کنید N ثانیه (تقریبا) تست ها را اجرا کرده و سپس خاتمه دهید.

--بر زدن
تست ها را به صورت تصادفی اجرا کنید.

اضافی OPTIONS

- رفع اشکال
دویدن بستر در حالت اشکال زدایی، برای اشکال زدایی مسائل پیکربندی و بستر خود.

--نمایش سوئیت
مجموعه های آزمایشی کشف شده را فهرست کنید و از آن خارج شوید.

--نمایش تست ها
تمام آزمایش های کشف شده را فهرست کنید و از آن خارج شوید.

خروج وضعیت

بستر اگر نتایج FAIL یا XPASS وجود داشته باشد با کد خروج 1 خارج می شود. در غیر این صورت،
با وضعیت 0 خارج می شود. سایر کدهای خروجی برای خرابی های غیر مرتبط با آزمون استفاده می شود
(به عنوان مثال یک خطای کاربر یا یک خطای برنامه داخلی).

تست کشف

ورودی ها به بستر می تواند تست های فردی باشد یا کل دایرکتوری ها یا
سلسله مراتب تست ها برای اجرا چه زمانی بستر راه اندازی می شود، اولین کاری که انجام می دهد تبدیل آن است
ورودی های یک لیست کامل از تست ها برای اجرا به عنوان بخشی از آزمون کشف.

در بستر مدل، هر تست باید در داخل برخی وجود داشته باشد آزمون دنباله. بستر ورودی ها را حل می کند
در خط فرمان مشخص شده است تا مجموعه ها را با جستجو به سمت بالا از مسیر ورودی آزمایش کنید
تا زمانی که الف را پیدا کند lit.cfg or lit.site.cfg فایل. این فایل ها هر دو به عنوان نشانگر آزمون عمل می کنند
مجموعه ها و به عنوان فایل های پیکربندی که بستر بارها به منظور درک چگونگی پیدا کردن و
تست ها را داخل مجموعه تست اجرا کنید.

اونس بستر ورودی ها را در مجموعه های آزمایشی نگاشت کرده است و لیست ورودی های اضافه شده را طی می کند
تست برای فایل های فردی و جستجوی بازگشتی برای تست ها در فهرست ها.

این رفتار تعیین زیرمجموعه ای از تست ها را برای اجرا آسان می کند، در حالی که همچنان اجازه می دهد
پیکربندی مجموعه تست برای کنترل دقیق نحوه تفسیر تست ها. علاوه بر این، بستر
همیشه تست ها را با مجموعه تستی که در آن قرار دارند و مسیر نسبی آنها در داخل آن شناسایی می کند
مجموعه تست برای پروژه هایی که به طور مناسب پیکربندی شده اند، این اجازه می دهد بستر برای ارائه راحت
و پشتیبانی انعطاف پذیر برای سازه های خارج از درخت.

تست وضعیت نتایج

هر آزمایش در نهایت یکی از شش نتیجه زیر را ایجاد می کند:

PASS
آزمایش موفق شد.

XFAIL
آزمایش شکست خورد، اما این انتظار می رود. این برای فرمت های آزمایشی استفاده می شود که اجازه می دهد
مشخص می کند که یک آزمایش در حال حاضر کار نمی کند، اما می خواهید آن را در مجموعه آزمایشی بگذارید.

XPASS
آزمایش موفقیت آمیز بود، اما انتظار می رفت که با شکست مواجه شود. این برای تست هایی که بودند استفاده می شود
مشخص شده است که انتظار می رود شکست بخورد، اما اکنون موفق هستند (به طور کلی به دلیل این ویژگی
تست آنها خراب بود و درست شد).

FAIL
تست شکست خورد.

حل نشده
نتیجه آزمایش مشخص نشد. به عنوان مثال، این زمانی اتفاق می افتد که آزمایش می تواند
اجرا نشود، خود آزمون نامعتبر است یا آزمایش قطع شده است.

پشتیبانی نشده
تست در این محیط پشتیبانی نمی شود. این توسط فرمت های آزمایشی استفاده می شود که می توانند
آزمایش های پشتیبانی نشده را گزارش دهید

بسته به فرمت آزمون، آزمون‌ها ممکن است اطلاعات بیشتری در مورد وضعیت خود تولید کنند
(به طور کلی فقط برای شکست). را ببینید OUTPUT OPTIONS برای اطلاعات بیشتر بخش

LIT زیر ساخت

این بخش شرح می دهد بستر تست معماری برای کاربران علاقه مند به ایجاد یک جدید
بستر آزمایش پیاده سازی، یا گسترش یک موجود.

بستر proper در درجه اول زیرساختی برای کشف و اجرای آزمایش های دلخواه است و
تا یک رابط کاربری راحت را در معرض این تست ها قرار دهد. بستر خودش بلد نیست بدود
تست ها، بلکه این منطق با تعریف می شود آزمون سوئیت ها.

تست سوئیت ها
همانطور که در تست کشف، تست ها همیشه در داخل a قرار دارند آزمون دنباله. مجموعه های آزمایشی
برای تعریف قالب تست هایی که شامل آنها هستند، منطق پیدا کردن آن تست ها،
و هر گونه اطلاعات اضافی برای اجرای آزمایشات.

بستر مجموعه های آزمایشی را به عنوان دایرکتوری های حاوی شناسایی می کند lit.cfg or lit.site.cfg فایل ها (نگاه کنید به
همچنین --config-prefix). مجموعه های آزمایشی در ابتدا با جستجوی بازگشتی کشف می شوند
سلسله مراتب دایرکتوری برای همه فایل های ورودی ارسال شده در خط فرمان. شما می توانید استفاده کنید
--نمایش سوئیت برای نمایش مجموعه های آزمایشی کشف شده در هنگام راه اندازی.

هنگامی که یک مجموعه آزمایشی کشف شد، فایل پیکربندی آن بارگیری می شود. فایل های پیکربندی خود هستند
ماژول های پایتون که اجرا خواهند شد. هنگامی که فایل پیکربندی اجرا می شود، دو مورد مهم است
متغیرهای سراسری از پیش تعریف شده اند:

lit_config
جهانی بستر شیء پیکربندی (الف LitConfig instance)، که داخلی را تعریف می کند
فرمت های تست، پارامترهای پیکربندی جهانی و سایر روال های کمکی برای
پیاده سازی تنظیمات تست

پیکربندی
این شیء پیکربندی (a TestingConfig به عنوان مثال) برای مجموعه آزمایشی، که
انتظار می رود فایل پیکربندی پر شود. متغیرهای زیر نیز در دسترس هستند
پیکربندی شی، که برخی از آنها باید توسط پیکربندی تنظیم شوند و برخی دیگر اختیاری هستند یا
از پیش تعریف شده:

نام [ضروری] نام مجموعه آزمایشی، برای استفاده در گزارشات و تشخیص.

test_format [ضروری] شیء قالب آزمایشی که برای کشف و اجرا استفاده خواهد شد
تست ها در مجموعه تست به طور کلی این یک فرمت تست داخلی در دسترس خواهد بود
la فرمت های روشن ماژول

test_source_root مسیر فایل سیستم به روت مجموعه آزمایشی. برای ساخت های خارج از فیلم
این دایرکتوری است که برای آزمایش اسکن می شود.

test_exec_root برای ساخت های خارج از dir، مسیر به سمت root مجموعه آزمایشی در داخل شی
فهرست راهنما. اینجاست که تست ها اجرا می شوند و فایل های خروجی موقت قرار می گیرند.

محیط دیکشنری که محیطی را برای استفاده در هنگام اجرای آزمایش نشان می دهد
سوئیت

پسوندها برای بستر فرمت های آزمایشی که دایرکتوری ها را برای آزمایش ها اسکن می کند، این متغیر یک لیست است
پسوند برای شناسایی فایل های آزمایشی استفاده شده توسط: ShTest.

جایگزینی برای بستر فرمت های آزمایشی که متغیرها را به یک اسکریپت آزمایشی جایگزین می کنند
لیست تعویض هایی که باید انجام شود استفاده شده توسط: ShTest.

پشتیبانی نشده یک دایرکتوری پشتیبانی‌نشده را علامت‌گذاری کنید، همه آزمایش‌های داخل آن به‌عنوان گزارش می‌شوند
پشتیبانی نمی شود استفاده شده توسط: ShTest.

پدر یا مادر پیکربندی والد، این شیء پیکربندی برای دایرکتوری حاوی است
مجموعه آزمایشی یا هیچ کدام.

ریشه پیکربندی ریشه این بالاترین است بستر پیکربندی در پروژه

شکست لوله معمولاً اگر هر یک از دستورات روی لوله آزمایشی با استفاده از لوله پوسته انجام شود، شکست می خورد
مردود شدن. اگر این مورد مطلوب نیست، تنظیم این متغیر روی false باعث می شود که تست فقط با شکست مواجه شود
اگر آخرین فرمان در لوله شکست بخورد.

تست کشف
هنگامی که مجموعه های آزمایشی قرار گرفتند، بستر به صورت بازگشتی دایرکتوری منبع را طی می کند (به دنبال
test_source_root) به دنبال تست چه زمانی بستر وارد یک زیر شاخه می شود، ابتدا آن را بررسی می کند
ببینید آیا یک مجموعه آزمایشی تودرتو در آن دایرکتوری تعریف شده است یا خیر. اگر چنین است، مجموعه آزمایشی را بارگیری می کند
به صورت بازگشتی، در غیر این صورت یک پیکربندی آزمایشی محلی را برای دایرکتوری نمونه سازی می کند (نگاه کنید به محلی
پیکربندی فایل ها).

تست ها با مجموعه آزمایشی که در آن قرار دارند و مسیر نسبی شناسایی می شوند
داخل آن سوئیت توجه داشته باشید که مسیر نسبی ممکن است به یک فایل واقعی روی دیسک اشاره نکند.
برخی از فرمت های تست (مانند گوگل تست) "تست های مجازی" را تعریف کنید که مسیری دارند که
شامل مسیر فایل آزمایشی واقعی و یک مسیر فرعی برای شناسایی آزمایش مجازی است.

محلی پیکربندی فایل ها
چه زمانی بستر یک زیر شاخه را در یک مجموعه آزمایشی بارگیری می کند، یک پیکربندی آزمایشی محلی را نمونه سازی می کند
با شبیه سازی پیکربندی برای دایرکتوری والد --- ریشه این پیکربندی
زنجیره همیشه یک مجموعه آزمایشی خواهد بود. هنگامی که پیکربندی تست کلون شد بستر چک برای a
lit.local.cfg فایل در زیر شاخه در صورت وجود، این فایل بارگذاری می شود و می تواند بارگذاری شود
برای تخصصی کردن پیکربندی برای هر دایرکتوری جداگانه استفاده می شود. این تسهیلات می تواند باشد
برای تعریف زیرشاخه‌های تست‌های اختیاری یا تغییر تنظیمات دیگر استفاده می‌شود
پارامترها --- به عنوان مثال، برای تغییر قالب تست، یا پسوندهایی که تست را مشخص می کنند
فایل های.

تست RUN OUTPUT FORMAT
La بستر خروجی برای اجرای آزمایشی به صورت کوتاه و پرمخاطب با طرح زیر مطابقت دارد
حالت ها (اگرچه در حالت کوتاه هیچ خط PASS نشان داده نمی شود). این طرحواره انتخاب شده است
تجزیه و تحلیل قابل اعتماد توسط ماشین نسبتاً آسان است (به عنوان مثال در لاگ buildbot
خراش دادن)، و برای ابزارهای دیگر برای تولید.

انتظار می رود هر نتیجه آزمون در خطی ظاهر شود که مطابق با:

: ( )

جایی که یک نتیجه تست استاندارد مانند PASS، FAIL، XFAIL، XPASS،
حل نشده، یا پشتیبانی نشده است. کدهای نتیجه عملکرد IMPROVED و REGRESSED هستند
نیز مجاز است.

La <تست نام> فیلد می تواند از یک رشته دلخواه تشکیل شده باشد که هیچ خط جدیدی ندارد.

La <پیشرفت اطلاعات> فیلد را می توان برای گزارش اطلاعات پیشرفت مانند (1/300) یا
می تواند خالی باشد، اما حتی در صورت خالی بودن پرانتزها لازم است.

هر نتیجه آزمون ممکن است شامل اطلاعات گزارش اضافی (چند خطی) در موارد زیر باشد
قالب:

تست '( )'
... پیام ورود ...


جایی که <تست نام> باید نام یک آزمایش گزارش شده قبلی باشد، <ورود خط کش> هست یک
رشته ای از کاراکترهای "*". at کمترین چهار کاراکتر (طول توصیه شده 20 است) و
< دنباله دار خط کش> یک رشته دلخواه (تجزیه نشده) است.

در زیر نمونه ای از خروجی اجرای آزمایشی است که از چهار تست A، B، C و
D و یک پیام گزارش برای تست شکست خورده C:

PASS: A (1 از 4)
PASS: B (2 از 4)
شکست: C (3 از 4)
******************** تست "C" ناموفق بود ********************
آزمایش «C» در نتیجه کد خروج 1 انجام نشد.
********************
PASS: D (4 از 4)

LIT مثال تست
La بستر توزیع شامل چندین نمونه پیاده سازی از مجموعه های آزمایشی در
نمونه تست ها دایرکتوری.

با استفاده از خدمات onworks.net از lit-3.8 به صورت آنلاین استفاده کنید