checkbotp - آنلاین در ابر

برنامه:

نام

Checkbot - تأیید کننده پیوند WWW

خلاصه

ربات چک [--کلوچه ها] [- رفع اشکال] [--فایل نام فایل] [--کمک]
[--mailto آدرس ایمیل] [-- غیر پروکسی لیست دامنه ها]
[-- پرحرف]
[-- آدرس اینترنتی URL شروع]
[--همخوانی داشتن رشته مطابقت] [-- استثناء کردن حذف رشته]
[-- پروکسی URL پروکسی] [--فقط داخلی]
[--چشم پوشی نادیده گرفتن رشته]
[-- فیلتر جایگزینی بیان منظم]
[--سبک آدرس فایل سبک]
[--توجه داشته باشید توجه داشته باشید] [--خواب ثانیه] [--تایم اوت تایم اوت]
[--فاصله ثانیه] [-- اخطار نکن کدهای پاسخ HTTP]
[--فعال کردن-مجازی]
[--زبان کد زبان]
[-- سرکوب کردن فایل سرکوب]
[نشانی‌های اینترنتی شروع]

شرح

Checkbot پیوندها را در بخش خاصی از وب جهانی تأیید می کند. HTML ایجاد می کند
صفحات با تشخیص

Checkbot از LWP برای یافتن URL ها در صفحات و بررسی آنها استفاده می کند. از همان طرح ها پشتیبانی می کند
LWP انجام می دهد و همان پیوندهایی را پیدا می کند که HTML::LinkExtor پیدا می کند.

Checkbot پیوندها را یا "داخلی" یا "خارجی" در نظر می گیرد. لینک های داخلی لینک هستند
در فضای وب که باید بررسی شود. اگر یک پیوند داخلی به یک وب اشاره کند
سند این سند بازیابی شده و پیوندهای آن استخراج و پردازش می شوند. خارجی
لینک ها فقط بررسی می شوند که کار می کنند. Checkbot پیوندها را همانطور که آنها را پیدا می کند، بررسی می کند
و پیوندهای خارجی به طور همزمان بررسی می شوند، حتی اگر با آنها متفاوت رفتار شود.

گزینه های Checkbot عبارتند از:

--کلوچه ها
کوکی‌ها را از سرور بپذیرید و در درخواست‌های بعدی دوباره آنها را ارائه دهید. این ممکن است
برای سرورهایی که از کوکی ها برای مدیریت جلسات استفاده می کنند مفید است. به طور پیش فرض Checkbot این کار را نمی کند
هر کوکی را بپذیرید

- رفع اشکال
حالت اشکال زدایی را فعال کنید. واقعاً دیگر پشتیبانی نمی‌شود، اما برخی از فایل‌ها را نگه می‌دارد
اطراف آن در غیر این صورت حذف خواهد شد.

--فایل
از فایل استفاده کنید پرونده نام به عنوان پایه ای برای نام فایل های خلاصه. صفحه خلاصه خواهد شد
دریافت پرونده نام داده شده است، و صفحات سرور بر اساس پرونده نام بدون
پسوند html. به عنوان مثال، با تنظیم این گزینه روی "index.html" یک a ایجاد می شود
صفحه خلاصه به نام index.html و صفحات سرور به نام index-server1.html و
index-server2.html.

مقدار پیش فرض این گزینه "checkbot.html" است.

--کمک
پیام راهنمای مختصری را در خروجی استاندارد نشان می دهد.

--mailto [، ]
ارسال نامه به پست الکترونیک نشانی وقتی چک بات چک کردن تمام شد. شما می توانید بیش از
یک آدرس با کاما از هم جدا شده است. ایمیل اعلان شامل یک خلاصه کوچک از
نتایج. از Checkbot 1.76 ایمیل فقط در صورتی ارسال می شود که مشکلاتی در طی آن پیدا شده باشد
Checkbot اجرا می شود.

-- غیر پروکسی
درخواست های پروکسی را به دامنه های داده شده ارسال نکنید. لیست دامنه ها باید با کاما باشد.
لیست جدا شده به عنوان مثال، بنابراین از استفاده از پروکسی برای لوکال هاست و
someserver.xyz، می توانید از "--noproxy localhost,someserver.xyz" استفاده کنید.

-- پرحرف
نمایش خروجی پرمخاطب در حین اجرا شامل تمام پیوندهای بررسی شده، نتایج حاصل از
چک و غیره

-- آدرس اینترنتی
URL شروع را تنظیم کنید. Checkbot در این URL شروع به بررسی می کند و سپس به صورت بازگشتی بررسی می کند
تمام لینک های موجود در این صفحه URL شروع نسبت به URL های اضافی اولویت دارد
در خط فرمان مشخص شده است.

اگر هیچ طرحی برای URL مشخص نشده باشد، پروتکل فایل در نظر گرفته می شود.

--همخوانی داشتن
این گزینه انتخاب می کند که Checkbot چه صفحاتی را محلی در نظر بگیرد. اگر همخوانی داشتن رشته is
موجود در URL، سپس Checkbot صفحه را محلی در نظر می گیرد، آن را بازیابی می کند و
تمام پیوندهای موجود در آن را بررسی می کند. در غیر این صورت صفحه خارجی در نظر گرفته می شود
و فقط با یک درخواست HEAD بررسی می شود.

اگر صریح نباشد همخوانی داشتن رشته داده شده است، URL های شروع (به گزینه "--url" مراجعه کنید) استفاده خواهد شد
در عوض به عنوان یک رشته مسابقه. در این صورت نام آخرین صفحه، در صورت وجود، بریده می شود.
به عنوان مثال، یک URL شروع مانند "http://some.site/index.html" منجر به یک پیش فرض خواهد شد
همخوانی داشتن رشته از "http://some.site/".

La همخوانی داشتن رشته می تواند یک عبارت منظم پرل باشد. به عنوان مثال، برای بررسی اصلی
صفحه سرور و تمام صفحات HTML مستقیماً زیر آن، اما نه صفحات HTML موجود در آن
زیر شاخه های سرور، همخوانی داشتن رشته خواهد بود
"www.someserver.xyz/($|[^/]+.html)".

-- استثناء کردن
آدرس های اینترنتی مطابق با محروم کردن رشته خارجی در نظر گرفته می شوند، حتی اگر اتفاق بیفتند
مناسب با همخوانی داشتن رشته (به گزینه "--match" مراجعه کنید). URL های مطابق با رشته --exclude هستند
هنوز در حال بررسی است و در صورت مشاهده مشکل گزارش می شود، اما وجود نخواهد داشت
برای پیوندهای بیشتر در سایت بررسی شد.

La محروم کردن رشته می تواند یک عبارت منظم پرل باشد. به عنوان مثال، برای در نظر گرفتن همه URL ها
با یک رشته کوئری خارجی، از "[=\?]" استفاده کنید. این می تواند مفید باشد زمانی که یک URL با یک پرس و جو
رشته مسیر یک پایگاه داده بزرگ را باز می کند که بررسی می شود.

-- فیلتر
این گزینه a را تعریف می کند فیلتر رشته، که یک عبارت منظم پرل است. این فیلتر
بر روی هر URL یافت شده اجرا می شود، بنابراین URL قبل از وارد شدن به صف مورد نظر بازنویسی می شود
بررسی شد. می توان از آن برای حذف عناصر از URL استفاده کرد. این گزینه می تواند مفید باشد زمانی که
پیوندهای نمادین به یک دایرکتوری یا زمانی که یک سیستم مدیریت محتوا اضافه می کند اشاره می کنند
شناسه جلسه به URL ها

به عنوان مثال، «/old/new/» در هر URL، «قدیمی» را با «جدید» جایگزین می‌کند.

--چشم پوشی
آدرس های اینترنتی مطابق با چشم پوشی از رشته اصلاً بررسی نمی شوند، کاملاً نادیده گرفته می شوند
Checkbot. این می تواند برای نادیده گرفتن لینک های مشکل شناخته شده یا نادیده گرفتن لینک های پیشرو مفید باشد
به پایگاه های داده در چشم پوشی از رشته پس از مطابقت دارد فیلتر رشته اعمال شده است.

La چشم پوشی از رشته می تواند یک عبارت منظم پرل باشد.

به عنوان مثال "www.server.com\/(one|two)" با تمام URL هایی که با هر کدام شروع می شوند مطابقت دارد
www.server.com/one یا www.server.com/two.

-- پروکسی
این ویژگی نشانی اینترنتی یک سرور پراکسی را مشخص می کند. فقط درخواست های HTTP و FTP
به آن سرور پروکسی ارسال خواهد شد.

--فقط داخلی
از بررسی پیوندهای خارجی در پایان اجرای Checkbot صرفنظر کنید. فقط تطبیق
لینک ها بررسی می شوند توجه داشته باشید که برخی از تغییر مسیرها ممکن است همچنان باعث ایجاد پیوندهای خارجی شوند
چک شده

--توجه داشته باشید
La توجه داشته باشید کلمه به کلمه در پیام ایمیل گنجانده شده است (به گزینه "--mailto" مراجعه کنید). این میتواند باشد
برای مثال، شامل URL صفحه خلاصه HTML برای ارجاع آسان مفید است.

فقط در ترکیب با گزینه "--mailto" معنادار است.

--خواب
تعداد ثانیه برای خوابیدن در بین درخواست ها پیش فرض 0 ثانیه است، یعنی نکنید
بین درخواست ها اصلا بخوابید تنظیم این گزینه می تواند برای روشن نگه داشتن بار مفید باشد
هنگام اجرای Checkbot سرور وب از کار می افتد. این گزینه را نیز می توان روی a تنظیم کرد
عدد کسری، یعنی مقدار 0.1 بین یک دهم ثانیه خواب خواهد داشت
درخواست.

--تایم اوت
مهلت زمانی پیش‌فرض برای درخواست‌ها، در ثانیه مشخص شده است. پیش فرض 2 دقیقه است.

--فاصله
حداکثر فاصله بین به روز رسانی صفحات وب نتایج در چند ثانیه. پیش فرض 3 است
ساعت (10800 ثانیه). Checkbot این فاصله را در یک دقیقه و به تدریج شروع می کند
آن را به سمت حداکثر فاصله گسترش دهید.

--سبک
هنگامی که این گزینه استفاده می شود، Checkbot این URL را به عنوان پیوندی به یک فایل سبک در هر کدام تعبیه می کند
صفحه می نویسد این باعث می شود که به راحتی طرح بندی صفحات تولید شده توسط
ربات چک.

-- اخطار نکن
برای کدهای پاسخ HTTP که مطابقت دارند، هشدارها را در صفحات نتیجه درج نکنید
بیان منظم به عنوان مثال، --dontwarn "(301|404)" شامل 301 و
404 کد پاسخ.

Checkbot از کدهای پاسخ تولید شده توسط سرور استفاده می کند، حتی اگر این کد پاسخ باشد
در RFC 2616 (HTTP/1.1) تعریف نشده است. علاوه بر کد پاسخ معمولی HTTP،
Checkbot چند کد پاسخ را برای موقعیت‌هایی تعریف می‌کند که از نظر فنی A نیستند
مشکل است، اما به هر حال در بسیاری از موارد باعث ایجاد مشکل می شود. این کدها عبارتند از:

901 نام میزبان مورد انتظار بود اما یافت نشد
در این مورد URL از یک نام میزبان پشتیبانی می کند، اما نامی پیدا نشد
در URL این معمولا نشان دهنده یک اشتباه در URL است. یک
استثنا این است که این بررسی برای اخبار اعمال نمی شود: URL ها.

902 نام میزبان ناموفق پیدا شد
در این مورد نام میزبان شامل قسمت دامنه نیست.
این معمولاً به این معنی است که صفحات در هنگام مشاهده به خوبی کار می کنند
دامنه اصلی، اما نه زمانی که از خارج از آن مشاهده شود.

903 دوبرابر در مسیر URL
URL دارای یک اسلش دوتایی در آن است. این قانونی است، اما برخی از وب
سرورها نمی توانند به خوبی از عهده آن برآیند و ممکن است باعث شود Checkbot این کار را انجام دهد
فرار کن. نظرات زیر را نیز ببینید.

904 طرح ناشناخته در URL
URL با طرحی شروع می شود که Checkbot آن را نمی شناسد
در باره. این اغلب به دلیل تایپ اشتباه طرح URL ایجاد می شود،
اما این طرح می تواند قانونی نیز باشد. در این صورت لطفا اجازه دهید
من می دانم تا بتوان آن را به Checkbot اضافه کرد.

--فعال کردن-مجازی
این گزینه کار با سرورهای مجازی را امکان پذیر می کند. سپس Checkbot این همه را فرض می کند
نام میزبان برای سرورهای داخلی منحصر به فرد است، حتی اگر آدرس IP آنها ممکن است
یکسان. به طور معمول Checkbot از آدرس IP برای تشخیص سرورها استفاده می کند. این را دارد
مزیت این است که اگر سروری دو نام داشته باشد (مثلا www و bamboozle) صفحات آن فقط دریافت می شود
یکبار بررسی شد هنگامی که می خواهید چندین سرور مجازی را بررسی کنید، این باعث ایجاد مشکل می شود،
که این ویژگی با استفاده از نام میزبان برای تشخیص سرور کار می کند.

--زبان
آرگومان این گزینه یک کد زبان دو حرفی است. Checkbot از زبان استفاده خواهد کرد
مذاکره برای درخواست فایل به آن زبان. پیش فرض درخواست انگلیسی است
زبان (کد زبان 'en').

-- سرکوب کردن
آرگومان این گزینه فایلی است که حاوی ترکیبی از کدهای خطا و
نشانی‌های اینترنتی که برای سرکوب هشدارها. این می تواند برای جلوگیری از گزارش های شناخته شده و
خطاها یا هشدارهای URL غیر قابل رفع.

فرمت فایل سرکوب، ابتدا یک فرمت محدود شده با فضای خالی ساده است
لیست کد خطا به دنبال URL. هر کد خطا و ترکیب URL است
در یک خط جدید فهرست شده است. نظرات را می توان با شروع خط با a به فایل اضافه کرد
"#" شخصیت.

# 301 به طور دائم منتقل شد
301 http://www.w3.org/P3P

# 403 ممنوع
403 http://www.herring.com/

برای انعطاف بیشتر می توان از یک عبارت منظم به جای URL معمولی استفاده کرد. در
عبارت منظم باید با اسلش های رو به جلو محصور شود. به عنوان مثال، برای سرکوب همه
403 خطا در ویکی پدیا:

403 /http:\/\/wikipedia.org\/.*/

گزینه های منسوخ شده که در نسخه بعدی ناپدید می شوند:

--allow-simple-hosts (منسوخ شده)
این گزینه اخطارهای مربوط به URL هایی را که حاوی نام های میزبان نامشخص هستند خاموش می کند. این
برای سایت های اینترانت که اغلب فقط از یک نام هاست ساده یا حتی استفاده می کنند مفید است
"localhost" در پیوندهای آنها.

استفاده از این گزینه منسوخ شده است. لطفاً از مکانیسم --dontwarn برای خطای 902 استفاده کنید
به جای آن.

نکات و TIPS

مشکل در بررسی لینک های FTP
برخی از کاربران ممکن است با بررسی پیوندهای FTP مشکلات مداومی داشته باشند. در این موارد
ممکن است مفید باشد که به Net::FTP دستور دهید از حالت غیرفعال FTP برای بررسی فایل ها استفاده کند. این می تواند
با تنظیم متغیر محیطی FTP_PASSIVE روی 1 انجام شود. برای مثال، با استفاده از
پوسته bash: "FTP_PASSIVE=1 چک ربات ...". برای اطلاعات بیشتر به مستندات Net::FTP مراجعه کنید
جزئیات.

چک ربات فراری
در برخی موارد Checkbot به معنای واقعی کلمه برای همیشه طول می کشد تا تمام شود. دو علت رایج وجود دارد
برای این مشکل

اول، ممکن است یک برنامه پایگاه داده به عنوان بخشی از وب سایت وجود داشته باشد که a را ایجاد می کند
صفحه جدید بر اساس پیوندهای موجود در صفحه دیگر. از آنجایی که Checkbot سعی می کند در همه جا سفر کند
پیوندها با این کار تعداد بی نهایت صفحه ایجاد می شود. این نوع اثر فرار است
معمولا قابل پیش بینی با استفاده از گزینه --exclude می توان از آن جلوگیری کرد.

دوم، یک مشکل پیکربندی سرور می تواند باعث ایجاد یک حلقه در ایجاد URL برای صفحات شود
که واقعا وجود ندارند این باعث ایجاد URL های فرم می شود
http://some.server/images/images/images/logo.png، با "تصاویر" بیشتر گنجانده شده است.
Checkbot نمی تواند این مورد را بررسی کند زیرا سرور باید نشان می داد که
صفحات درخواستی وجود ندارد. هیچ راه آسانی برای حل این مشکل وجود ندارد جز رفع مشکل
وب سرور توهین آمیز یا لینک های خراب

مشکلات لینک https://
پیام خطا

نمی توان روش شی "جدید" را از طریق بسته "LWP::Protocol::https::Socket" پیدا کرد

معمولاً به این معنی است که نصب فعلی LWP از بررسی SSL پشتیبانی نمی کند
پیوندها (یعنی پیوندهایی که با https:// شروع می شوند). این مشکل با نصب قابل حل است
ماژول Crypt::SSLeay.

مثال ها

ساده ترین کاربرد Checkbot این است که مجموعه ای از صفحات را در یک سرور بررسی کنید. برای بررسی من
صفحات چک بات که من استفاده خواهم کرد:

چک بات http://degraaff.org/checkbot/

اجرای Checkbot ممکن است مدتی طول بکشد، بنابراین Checkbot می‌تواند یک ایمیل اعلان در هنگام اجرا ارسال کند
انجام شده:

checkbot --mailto [ایمیل محافظت شده] http://degraaff.org/checkbot/

امکان بررسی مجموعه ای از فایل های محلی بدون استفاده از وب سرور وجود دارد. این فقط کار می کند
برای فایل های استاتیک اما ممکن است در برخی موارد مفید باشد.

فایل چک بات:///var/www/documents/

پیش نیازها

این اسکریپت از ماژول های "LWP" استفاده می کند.

لوازم جانبی

این اسکریپت می‌تواند در صورت وجود "Mail::Send" نامه ارسال کند.

از checkbotp آنلاین با استفاده از خدمات onworks.net استفاده کنید