checkbotp - عبر الإنترنت في السحابة

برنامج:

اسم

Checkbot - أداة التحقق من ارتباط WWW

موجز

روبوت الفحص [--بسكويت] [--Debug] [--ملف اسم الملف] [--مساعدة]
[- mailto عناوين البريد الإلكتروني] [--لا الوكيل قائمة المجالات]
[- الإسراف]
[--url بدء URL]
[--تطابق سلسلة المطابقة] [- استثناء استبعاد سلسلة]
[--الوكيل عنوان URL للوكيل] [--الداخلية فقط]
[--يتجاهل تجاهل السلسلة]
[--منقي استبدال التعبير العادي]
[--نمط URL ملف النمط]
[--ملاحظة ملاحظة] [--نايم ثواني] [--نفذ الوقت نفذ الوقت]
[--فترة ثواني] [- لا تحذر رموز استجابة HTTP]
[- تمكين الظاهري]
[--لغة رمز اللغة]
[--كبح ملف القمع]
[بدء عناوين URL]

الوصف

يتحقق Checkbot من الروابط الموجودة في جزء معين من شبكة الويب العالمية. يقوم بإنشاء HTML
الصفحات المشتملة على التشخيص.

يستخدم Checkbot LWP للعثور على عناوين URL على الصفحات والتحقق منها. وهو يدعم نفس المخططات مثل
يقوم LWP بعمل ، والعثور على نفس الروابط التي سيجدها HTML :: LinkExtor.

يعتبر Checkbot الروابط إما "داخلية" أو "خارجية". الروابط الداخلية هي روابط
داخل مساحة الويب التي يجب التحقق منها. إذا كان هناك ارتباط داخلي يشير إلى الويب
وثيقة يتم استرداد هذا المستند ، ويتم استخراج الروابط الخاصة به ومعالجتها. خارجي
يتم فحص الروابط فقط للعمل. يتحقق Checkbot من الروابط عند العثور عليها ، لذا فهي داخلية
والروابط الخارجية في نفس الوقت ، على الرغم من اختلاف معاملتها.

خيارات Checkbot هي:

--بسكويت
اقبل ملفات تعريف الارتباط من الخادم واعرضها مرة أخرى في طلبات لاحقة. هذا قد يكون
مفيد للخوادم التي تستخدم ملفات تعريف الارتباط للتعامل مع الجلسات. بشكل افتراضي لا يقوم Checkbot بذلك
قبول أي ملفات تعريف الارتباط.

--Debug
تفعيل وضع التصحيح. لم يعد مدعومًا حقًا ، لكنه سيحتفظ ببعض الملفات
حول ذلك وإلا سيتم حذفه.

--ملف
استخدم الملف ملف الاسم كأساس لأسماء الملفات الموجزة. صفحة الملخص سوف
الحصول على ملف الاسم معطى ، وتستند صفحات الخادم إلى ملف الاسم بدون ال
التمديد .html. على سبيل المثال ، يؤدي تعيين هذا الخيار على "index.html" إلى إنشاء ملف
صفحة الملخص تسمى index.html وصفحات الخادم تسمى index-server1.html و
مؤشر-server2.html.

القيمة الافتراضية لهذا الخيار هي "checkbot.html".

--مساعدة
يظهر رسالة تعليمات مختصرة حول الإخراج القياسي.

- mailto [، ]
أرسل بريدًا إلى البريد الإلكتروني العنوان عندما يتم فحص Checkbot. يمكنك أن تعطي أكثر من
عنوان واحد مفصول بفاصلات. يتضمن البريد الإلكتروني للإشعار ملخصًا صغيرًا عن
النتائج. اعتبارًا من Checkbot 1.76 ، يتم إرسال البريد الإلكتروني فقط إذا تم العثور على مشاكل أثناء ذلك
تشغيل Checkbot.

--لا الوكيل
لا تقم بتوكيل طلبات المجالات المعينة. يجب أن تكون قائمة المجالات فاصلة-
قائمة منفصلة. على سبيل المثال ، تجنب استخدام الوكيل للمضيف المحلي و
someserver.xyz ، يمكنك استخدام "--noproxy localhost، someserver.xyz".

- الإسراف
إظهار الإخراج المطول أثناء التشغيل. يشمل جميع الروابط التي تم التحقق منها ، والنتائج من
الشيكات ، إلخ.

--url
قم بتعيين عنوان URL للبدء. يبدأ Checkbot في التحقق من عنوان URL هذا ، ثم يتحقق بشكل متكرر
جميع الروابط الموجودة في هذه الصفحة. يبدأ عنوان URL للأولوية على عناوين URL الإضافية
المحدد في سطر الأوامر.

إذا لم يتم تحديد مخطط لعنوان URL ، فسيتم افتراض بروتوكول الملف.

--تطابق
يحدد هذا الخيار الصفحات التي يعتبرها Checkbot محلية. إذا كان مباراة سلسلة is
المضمنة في عنوان URL ، ثم يعتبر Checkbot الصفحة محلية ويسترجعها و
سيتحقق من جميع الروابط الموجودة فيه. وإلا فإن الصفحة تعتبر خارجية
ويتم فحصه فقط من خلال طلب HEAD.

إذا لم يكن صريحًا مباراة سلسلة سيتم استخدام عناوين URL للبدء (انظر الخيار "--url")
كسلسلة مطابقة بدلاً من ذلك. في هذه الحالة ، سيتم اقتطاع اسم الصفحة الأخيرة ، إن وجد.
على سبيل المثال ، عنوان URL للبدء مثل "http://some.site/index.html"سينتج عنه افتراضي
مباراة سلسلة من "http://some.site/".

إنّ كافة أنواع عهود الـ مباراة سلسلة يمكن أن يكون تعبيرًا عاديًا لـ perl. على سبيل المثال ، للتحقق من الملف الرئيسي
صفحة الخادم وجميع صفحات HTML الموجودة أسفلها مباشرة ، ولكن ليس صفحات HTML في ملف
الدلائل الفرعية للخادم مباراة سلسلة سيكون
"www.someserver.xyz/($|[

- استثناء
عناوين URL المطابقة لملف منع سلسلة تعتبر خارجية ، حتى لو حدثت
طابق ال مباراة سلسلة (انظر الخيار "- المباراة"). عناوين URL المطابقة لسلسلة --exclude هي
لا يزال قيد الفحص وسيتم الإبلاغ عنه إذا تم العثور على مشاكل ، لكنها لن يتم الكشف عنها
فحص لمزيد من الروابط في الموقع.

إنّ كافة أنواع عهود الـ منع سلسلة يمكن أن يكون تعبيرًا عاديًا لـ perl. على سبيل المثال ، للنظر في جميع عناوين URL
مع سلسلة استعلام خارجية ، استخدم "[= \؟]". يمكن أن يكون هذا مفيدًا عندما يحتوي عنوان URL على استعلام
تفتح السلسلة المسار إلى قاعدة بيانات ضخمة سيتم فحصها.

--منقي
يحدد هذا الخيار ملف تصفية سلسلة، وهو تعبير نمطي perl. هذا المرشح
يتم تشغيله على كل عنوان URL تم العثور عليه ، وبالتالي إعادة كتابة عنوان URL قبل أن يدخل قائمة الانتظار ليكون
التحقق. يمكن استخدامه لإزالة العناصر من عنوان URL. يمكن أن يكون هذا الخيار مفيدًا عندما
تشير الروابط الرمزية إلى نفس الدليل ، أو عندما يضيف نظام إدارة المحتوى
معرّفات الجلسات لعناوين URL.

على سبيل المثال ، "/ old / new /" ستحل محل تكرارات "old" بكلمة "new" في كل عنوان URL.

--يتجاهل
عناوين URL المطابقة لملف تجاهل سلسلة لم يتم التحقق منها على الإطلاق ، يتم تجاهلها تمامًا بواسطة
Checkbot. قد يكون هذا مفيدًا لتجاهل ارتباطات المشاكل المعروفة ، أو تجاهل الروابط الرائدة
في قواعد البيانات. ال تجاهل سلسلة بعد تصفية سلسلة تم التقديم.

إنّ كافة أنواع عهود الـ تجاهل سلسلة يمكن أن يكون تعبيرًا عاديًا لـ perl.

على سبيل المثال "www.server.com \ / (one | two)" سيطابق جميع عناوين URL التي تبدأ بأي منهما
www.server.com/one أو www.server.com/two.

--الوكيل
تحدد هذه السمة عنوان URL للخادم الوكيل. فقط طلبات HTTP و FTP
سيتم إرسالها إلى هذا الخادم الوكيل.

--الداخلية فقط
تخطي التحقق من الروابط الخارجية في نهاية تشغيل Checkbot. مطابقة فقط
يتم فحص الروابط. لاحظ أن بعض عمليات إعادة التوجيه قد تتسبب في حدوث روابط خارجية
التحقق.

--ملاحظة
إنّ كافة أنواع عهود الـ لاحظ مضمنة حرفيا في رسالة البريد (انظر الخيار "--mailto"). هذا يمكن أن يكون
من المفيد تضمين عنوان URL لصفحة HTML الموجزة لسهولة الرجوع إليها ، على سبيل المثال.

ذات مغزى فقط مع خيار "--mailto".

--نايم
عدد من ثواني للنوم بين الطلبات. الافتراضي هو 0 ثانية ، أي لا تفعل
النوم على الإطلاق بين الطلبات. يمكن أن يكون ضبط هذا الخيار مفيدًا لمواصلة التحميل
خادم الويب لأسفل أثناء تشغيل Checkbot. يمكن أيضًا تعيين هذا الخيار على ملف
عدد كسري ، أي قيمة 0.1 ستنتهي بعد عُشر ثانية
طلبات.

--نفذ الوقت
المهلة الافتراضية للطلبات المحددة بالثواني. الافتراضي هو 2 دقيقة.

--فترة
الحد الأقصى للفاصل الزمني بين تحديثات صفحات الويب للنتائج بالثواني. الافتراضي هو 3
ساعة (10800 ثانية). سيبدأ Checkbot الفاصل الزمني في دقيقة واحدة وبالتدريج
قم بتمديده نحو الحد الأقصى للفترة.

--نمط
عند استخدام هذا الخيار ، يقوم Checkbot بتضمين عنوان URL هذا كارتباط لملف نمط في كل منها
الصفحة التي يكتبها. هذا يجعل من السهل تخصيص تخطيط الصفحات التي تم إنشاؤها بواسطة
تشيكبوت.

- لا تحذر
لا تقم بتضمين تحذيرات على صفحات النتائج لرموز استجابة HTTP المطابقة
التعبير النمطي. على سبيل المثال ، لن تتضمن --dontwarn "(301 | 404)" 301 و
رموز الاستجابة 404.

يستخدم Checkbot رموز الاستجابة التي تم إنشاؤها بواسطة الخادم ، حتى لو كان رمز الاستجابة هذا
لم يتم تعريفه في RFC 2616 (HTTP / 1.1). بالإضافة إلى رمز استجابة HTTP العادي ،
يحدد Checkbot عددًا قليلاً من رموز الاستجابة للمواقف التي لا تعتبر من الناحية الفنية ملف
مشكلة ، ولكنها تسبب مشاكل في كثير من الحالات على أي حال. هذه الرموز هي:

901 اسم المضيف متوقع ولكن لم يتم العثور عليه
في هذه الحالة ، يدعم عنوان URL اسم مضيف ، ولكن لم يتم العثور عليه
في URL. يشير هذا عادةً إلى وجود خطأ في عنوان URL. ان
الاستثناء هو أن هذا الاختيار لا يتم تطبيقه على الأخبار: عناوين URL.

902 تم العثور على اسم مضيف غير مؤهل
في هذه الحالة ، لا يحتوي اسم المضيف على جزء المجال.
هذا يعني عادة أن الصفحات تعمل بشكل جيد عند عرضها في الداخل
النطاق الأصلي ، ولكن ليس عند مشاهدته من خارجه.

903 الشرطة المائلة المزدوجة في مسار URL
يحتوي عنوان URL على شرطة مائلة مزدوجة. هذا قانوني ، لكن بعض الويب
لا تستطيع الخوادم التعامل معها بشكل جيد وقد تتسبب في قيام Checkbot بذلك
اهرب. انظر أيضا التعليقات أدناه.

904 مخطط غير معروف في URL
يبدأ عنوان URL بنظام لا يعرفه Checkbot
حول. يحدث هذا غالبًا بسبب الخطأ في كتابة مخطط عنوان URL ،
ولكن يمكن أن يكون المخطط قانونيًا أيضًا. في هذه الحالة يرجى السماح
أعلم أنه يمكن إضافته إلى Checkbot.

- تمكين الظاهري
يتيح هذا الخيار التعامل مع الخوادم الافتراضية. ثم يفترض Checkbot أن كل شيء
أسماء المضيفين للخوادم الداخلية فريدة من نوعها ، على الرغم من أن عناوين IP الخاصة بهم قد تكون هي
نفس. عادةً ما يستخدم Checkbot عنوان IP للتمييز بين الخوادم. هذا لديه
ميزة أنه إذا كان الخادم له اسمان (مثل www و bamboozle) فإن صفحاته تحصل فقط
فحص مرة واحدة. عندما تريد التحقق من عدة خوادم افتراضية ، فهذا يسبب مشاكل ،
التي تعمل هذه الميزة حولها باستخدام اسم المضيف لتمييز الخادم.

--لغة
وسيطة هذا الخيار هي رمز لغة مكون من حرفين. سيستخدم Checkbot اللغة
التفاوض لطلب الملفات بهذه اللغة. الافتراضي هو طلب اللغة الإنجليزية
اللغة (رمز اللغة "en").

--كبح
الوسيطة لهذا الخيار هي ملف يحتوي على مجموعات من رموز الخطأ و
عناوين URL المطلوب منع التحذيرات بشأنها. يمكن استخدام هذا لتجنب الإبلاغ عن المعروف و
تحذيرات أو أخطاء URL غير القابلة للإصلاح.

تنسيق ملف القمع هو تنسيق بسيط محدد بمسافة ، أولاً
سرد رمز الخطأ متبوعًا بعنوان URL. كل رمز خطأ ومجموعة URL هي
المدرجة في سطر جديد. يمكن إضافة التعليقات إلى الملف ببدء السطر بامتداد
"#" اختلاف الشخصيات.

# 301 منقول بشكل دائم
301 http://www.w3.org/P3P

# 403 ممنوع
403 http://www.herring.com/

لمزيد من المرونة ، يمكن استخدام التعبير العادي بدلاً من عنوان URL العادي. ال
يجب أن يتم إحاطة التعبير العادي بشرطة مائلة للأمام. على سبيل المثال ، لقمع كل شيء
403 أخطاء في ويكيبيديا:

403 / http: \ / \ / wikipedia.org \/.*/

الخيارات الموقوفة والتي ستختفي في إصدار مستقبلي:

--allow-simple-hosts (مهمل)
يعمل هذا الخيار على إيقاف تشغيل التحذيرات حول عناوين URL التي تحتوي على أسماء مضيفات غير مؤهلة. هذه
مفيد لمواقع الإنترانت التي غالبًا ما تستخدم اسم مضيف بسيطًا أو حتى
"localhost" في روابطهم.

تم إهمال استخدام هذا الخيار. الرجاء استخدام آلية --dontwarn للخطأ 902
بدلا من ذلك.

تلميحات لأي لبس TIPS

مشاكل في فحص روابط FTP
قد يواجه بعض المستخدمين مشكلات متسقة في التحقق من روابط FTP. في هذه الحالات
قد يكون من المفيد إرشاد Net :: FTP لاستخدام وضع FTP الخامل للتحقق من الملفات. هذا يمكن
يتم ذلك عن طريق ضبط متغير البيئة FTP_PASSIVE على 1. على سبيل المثال ، باستخدام
قذيفة bash: "FTP_PASSIVE = 1 checkbot ...". انظر Net :: FTP توثيق لمزيد من المعلومات
تفاصيل.

الهروب Checkbot
في بعض الحالات ، يستغرق Checkbot حرفيًا وقتًا طويلاً حتى ينتهي. هناك سببان شائعان
لهذه المشكلة.

أولاً ، قد يكون هناك تطبيق قاعدة بيانات كجزء من موقع الويب الذي ينشئ ملف
صفحة جديدة تعتمد على الروابط الموجودة في صفحة أخرى. نظرًا لأن Checkbot يحاول السفر عبر الكل
الروابط سيؤدي هذا إلى إنشاء عدد لا حصر له من الصفحات. هذا النوع من تأثير الهروب
عادة ما يمكن التنبؤ به. يمكن تجنبه باستخدام الخيار --exclude.

ثانيًا ، يمكن أن تتسبب مشكلة تكوين الخادم في حدوث حلقة في إنشاء عناوين URL للصفحات
هذا حقا غير موجود. سينتج عن ذلك عناوين URL الخاصة بالنموذج
http://some.server/images/images/images/logo.png، مع تضمين المزيد من "الصور".
لا يمكن لـ Checkbot التحقق من ذلك لأن الخادم كان يجب أن يشير إلى أن ملف
الصفحات المطلوبة غير موجودة. لا توجد طريقة سهلة لحل هذا بخلاف إصلاح
خادم الويب المسيء أو الروابط المعطلة.

مشاكل مع روابط https: //
رسالة الخطأ

لا يمكن تحديد موقع أسلوب الكائن "جديد" عبر الحزمة "LWP :: Protocol :: https :: Socket"

يعني عادةً أن التثبيت الحالي لـ LWP لا يدعم فحص SSL
الروابط (أي الروابط التي تبدأ بـ https: //). يمكن حل هذه المشكلة عن طريق التثبيت
الوحدة النمطية Crypt :: SSLeay.

أمثلة

أبسط استخدام لـ Checkbot هو فحص مجموعة من الصفحات على الخادم. للتحقق من بلدي
صفحات checkbot التي سأستخدمها:

checkbot http://degraaff.org/checkbot/

يمكن أن تستغرق عمليات تشغيل Checkbot بعض الوقت حتى يتمكن Checkbot من إرسال إشعار بالبريد عندما يتم التشغيل
به:

Checkbot --mailto [البريد الإلكتروني محمي] http://degraaff.org/checkbot/

من الممكن التحقق من مجموعة من الملفات المحلية دون استخدام خادم الويب. هذا يعمل فقط
للملفات الثابتة ولكنها قد تكون مفيدة في بعض الحالات.

ملف checkbot: /// var / www / documents /

الشروط المسبقة

يستخدم هذا البرنامج النصي وحدات "LWP".

المتطلبات الأساسية

يمكن لهذا البرنامج النصي إرسال بريد عند وجود "Mail :: Send".

استخدم checkbotp عبر الإنترنت باستخدام خدمات onworks.net