linkchecker - عبر الإنترنت في السحابة

برنامج:

اسم

linkchecker - عميل سطر أوامر للتحقق من مستندات HTML ومواقع الويب بحثًا عن الروابط المعطلة

موجز

فاحص الروابط [الخيارات] [ملف أو عنوان url] ...

الوصف

ميزات LinkChecker

· تدقيق متكرر ومتعدد الخيوط ،

الإخراج في نص ملون أو عادي ، HTML ، SQL ، CSV ، XML أو مخطط خريطة الموقع في
تنسيقات مختلفة

دعم HTTP / 1.1 ، HTTPS ، FTP ، mailto: ، الأخبار: ، nntp: ، Telnet والملف المحلي
الروابط

· تقييد التحقق من الارتباط باستخدام عوامل تصفية عناوين URL ،

· دعم الوكيل ،

ترخيص اسم المستخدم / كلمة المرور لـ HTTP و FTP و Telnet ،

دعم بروتوكول استبعاد ملف robots.txt ،

· دعم ملفات تعريف الارتباط

دعم HTML5

التحقق من بناء جملة HTML و CSS

· فحص مكافحة الفيروسات

سطر الأوامر ، واجهة المستخدم الرسومية وواجهة الويب

أمثلة

يتحقق الاستخدام الأكثر شيوعًا من المجال المحدد بشكل متكرر:
فاحص الروابط http://www.example.com/
احذر من أن هذا يتحقق من الموقع بالكامل والذي يمكن أن يحتوي على آلاف عناوين URL. استخدم ال -r
خيار لتقييد عمق العودية.
لا تتحقق من عناوين URL باستخدام /سر في اسمه. يتم فحص جميع الروابط الأخرى كالمعتاد:
فاحص الروابط --ignore-url = / سر mysite.example.com
التحقق من ملف HTML محلي على نظام Unix:
فاحص الروابط ../bla.html
التحقق من ملف HTML محلي على نظام Windows:
فاحص الروابط ج: \ temp \ test.html
يمكنك تخطي ملف http:// جزء عنوان url إذا كان المجال يبدأ بـ شبكة الاتصالات العالمية.:
فاحص الروابط www.example.com
يمكنك تخطي ملف ftp:// جزء عنوان url إذا كان المجال يبدأ بـ بروتوكول نقل الملفات.:
فاحص الروابط -R0 ftp.example.com
أنشئ رسمًا بيانيًا لخريطة الموقع وقم بتحويله باستخدام الأداة المساعدة Graphviz dot:
فاحص الروابط -ودوت -v www.example.com | نقطة -Tps > ملف sitemap.ps

OPTIONS

العلاجات العامة الخيارات
-fاسم الملف, - تكوين =اسم الملف
استعمل اسم الملف كملف التكوين. كما يستخدم LinkChecker الافتراضي
~ / .linkchecker / linkcheckerrc.

-h, --مساعدة
ساعدني! طباعة معلومات الاستخدام لهذا البرنامج.

- ستدين
اقرأ قائمة عناوين URL المفصولة بمسافات بيضاء للتحقق من stdin.

-tعدد, - الخيوط =عدد
لا تولد أكثر من العدد المحدد من المواضيع. العدد الافتراضي من المواضيع هو
100. لتعطيل مؤشر الترابط ، حدد رقمًا غير موجب.

-V, --الإصدار
نسخة الطباعة والخروج.

- قائمة المكونات الإضافية
اطبع الشيكات الإضافية المتاحة واخرج.

الناتج الخيارات
-DSTRING, --debug =STRING
طباعة إخراج التصحيح للمسجل المحدد. الحطابين المتاحة هي كمدلاين,
تدقيق, مخبأ, واجهة المستخدم الرسومية, DNS و من جميع. التحديد من جميع هو اسم مستعار لتحديد الكل
الحطابين المتاحة. يمكن إعطاء الخيار عدة مرات لتصحيح الأخطاء بأكثر من
مسجل واحد. للحصول على نتائج دقيقة ، سيتم تعطيل مؤشر الترابط أثناء عمليات تشغيل التصحيح.

-Fالنوع[/التشفير][/اسم الملف], - إخراج الملف =النوع[/التشفير][/اسم الملف]
الإخراج إلى ملف مدقق الارتباط.النوع, $ HOME / .linkchecker / القائمة السوداء For القائمة السوداء
الإخراج ، أو اسم الملف إذا تم تحديد ذلك. ال التشفير يحدد ترميز الإخراج ، و
الافتراضي هو الموقع الخاص بك. يتم سرد الترميزات الصالحة في
http://docs.python.org/library/codecs.html# ترميزات قياسية.
• اسم الملف و التشفير أجزاء من لا شيء سيتم تجاهل نوع الإخراج ، وإلا إذا كان
الملف موجود بالفعل ، سيتم الكتابة فوقه. يمكنك تحديد هذا الخيار أكثر
من مرة. أنواع إخراج الملفات الصالحة هي نص, أتش تي أم أل, SQL, CSV, GML, نقطة, XML,
خريطة الموقع, لا شيء or القائمة السوداء. الافتراضي هو عدم إخراج الملف. أنواع الإخراج المختلفة
موثقة أدناه. لاحظ أنه يمكنك منع كل إخراج وحدة التحكم باستخدام الخيار
-o لا شيء.

--لا توجد حالة
لا تطبع رسائل التحقق من الحالة.

--لا تحذيرات
لا تسجل التحذيرات. الافتراضي هو تسجيل التحذيرات.

-oالنوع[/التشفير], - الخرج =النوع[/التشفير]
حدد نوع الإخراج كـ نص, أتش تي أم أل, SQL, CSV, GML, نقطة, XML, خريطة الموقع, لا شيء or
القائمة السوداء. النوع الافتراضي هو نص. أنواع المخرجات المختلفة موثقة أدناه.
• التشفير يحدد ترميز الإخراج ، والافتراضي هو ذلك من الإعدادات المحلية الخاصة بك.
يتم سرد الترميزات الصالحة في http://docs.python.org/library/codecs.html#معيار-
ترميزات.

-q, --هادئ
عملية هادئة ، اسم مستعار لـ -o لا شيء. هذا مفيد فقط مع -F.

-v, - الإسراف
تسجيل جميع عناوين URL المحددة. الافتراضي هو تسجيل الأخطاء والتحذيرات فقط.

-Wريجكس, - تحذير- regex =ريجكس
حدد تعبيرًا عاديًا يطبع تحذيرًا إذا كان يطابق أي محتوى من
رابط محدد. هذا ينطبق فقط على الصفحات الصالحة ، حتى نتمكن من الحصول على محتواها.
استخدم هذا للتحقق من الصفحات التي تحتوي على شكل من أشكال الخطأ ، على سبيل المثال "هذه الصفحة
نقل "أو" خطأ تطبيق أوراكل ".
لاحظ أنه يمكن دمج قيم متعددة في التعبير العادي ، على سبيل المثال
"(تم نقل هذه الصفحة | خطأ في تطبيق أوراكل)".
انظر القسم منتظم التعبيرات للمزيد من المعلومات.

فحص الخيارات
- ملف تعريف الارتباط =اسم الملف
اقرأ ملفًا يحتوي على بيانات ملفات تعريف الارتباط الأولية. يتم شرح تنسيق بيانات ملفات تعريف الارتباط أدناه.

- فحص خارجي
تحقق من عناوين URL الخارجية.

--ignore-url =ريجكس
سيتم تجاهل عناوين URL المطابقة للتعبير العادي ولن يتم التحقق منها.
يمكن إعطاء هذا الخيار عدة مرات.
انظر القسم منتظم التعبيرات للمزيد من المعلومات.

-NSTRING, --nntp-server =STRING
حدد خادم NNTP لـ الأخبار: الروابط. الافتراضي هو متغير البيئة
NNTP_SERVER. إذا لم يتم تحديد أي مضيف ، فسيتم التحقق فقط من بناء جملة الارتباط.

- no-follow-url =ريجكس
تحقق من عناوين URL المطابقة للتعبير العادي المحدد دون تكرارها.
يمكن إعطاء هذا الخيار عدة مرات.
انظر القسم منتظم التعبيرات للمزيد من المعلومات.

-p, --كلمه السر
اقرأ كلمة مرور من وحدة التحكم واستخدمها لترخيص HTTP و FTP. لبروتوكول نقل الملفات
كلمة المرور الافتراضية هي مجهول@. بالنسبة إلى HTTP ، لا توجد كلمة مرور افتراضية. أنظر أيضا
-u.

-rعدد, - مستوى الانقلاب =عدد
تحقق بشكل متكرر من جميع الروابط حتى عمق معين. العمق السلبي سيمكن
العودية اللانهائية. العمق الافتراضي لانهائي.

- المهلة =عدد
اضبط مهلة محاولات الاتصال بالثواني. المهلة الافتراضية هي 60
ثواني.

-uSTRING, - المستخدم =STRING
جرب اسم المستخدم المحدد لترخيص HTTP و FTP. ل FTP الافتراضي
اسم المستخدم هو مجهول. بالنسبة إلى HTTP ، لا يوجد اسم مستخدم افتراضي. أنظر أيضا -p.

- وكيل المستخدم =STRING
حدد سلسلة وكيل المستخدم لإرسالها إلى خادم HTTP ، على سبيل المثال
"Mozilla / 4.0". الافتراضي هو "LinkChecker / XY" حيث XY هو الإصدار الحالي من
LinkChecker.

CONFIGURATION FILES

يمكن أن تحدد ملفات التكوين جميع الخيارات أعلاه. يمكنهم أيضًا تحديد بعض الخيارات التي
لا يمكن تعيينها في سطر الأوامر. يرى linkcheckerrc(5) لمزيد من المعلومات.

OUTPUT أنواع

لاحظ أنه بشكل افتراضي يتم تسجيل الأخطاء والتحذيرات فقط. يجب عليك استخدام ملف - الإسراف
خيار للحصول على قائمة عناوين URL الكاملة ، خاصةً عند إخراج تنسيق الرسم البياني لخريطة الموقع.

نص مسجل نص قياسي ، تسجيل عناوين URL في الكلمات الرئيسية: أزياء الوسيطة.

أتش تي أم أل تسجيل عناوين URL في الكلمات الرئيسية: أزياء الوسيطة ، بتنسيق HTML. بالإضافة إلى ذلك روابط
إلى الصفحات المشار إليها. تحتوي عناوين URL غير الصالحة على روابط فحص بنية HTML و CSS
ملحق.

CSV نتيجة فحص السجل بتنسيق CSV مع عنوان URL واحد في كل سطر.

GML سجّل العلاقات بين الوالدين والطفل بين عناوين URL المرتبطة كرسم بياني لخريطة موقع GML.

نقطة سجل العلاقات بين الوالدين والطفل بين عناوين URL المرتبطة كرسم بياني لخريطة موقع DOT.

com.gxml نتيجة فحص السجل كرسم بياني لخريطة موقع GraphXML.

XML نتيجة فحص السجل بتنسيق XML يمكن قراءته آليًا.

خريطة الموقع
نتيجة فحص السجل كخريطة موقع XML تم توثيق بروتوكولها في
http://www.sitemaps.org/protocol.html.

SQL نتيجة فحص السجل كبرنامج نصي SQL مع أوامر INSERT. مثال على البرنامج النصي لإنشاء
يتم تضمين جدول SQL الأولي كـ create.sql.

القائمة السوداء
مناسب لوظائف كرون. يسجل نتيجة الفحص في ملف ~ / .linkchecker / القائمة السوداء
الذي يحتوي فقط على إدخالات مع عناوين URL غير صالحة وعدد مرات وجودها
فشل.

لا شيء لا يسجل أي شيء. مناسب للتصحيح أو التحقق من كود الخروج.

منتظم التعبيرات

يقبل LinkChecker تعبيرات Python العادية. يرى http://docs.python.org/
howto / regex.html للحصول على مقدمة.

الإضافة هي أن علامة التعجب الرائدة تنفي التعبير النمطي.

كوكي FILES

يحتوي ملف تعريف الارتباط على بيانات رأس HTTP القياسية (RFC 2616) مع إمكانية ما يلي
أسماء:

مضيف (مطلوب)
يضبط المجال الذي تكون ملفات تعريف الارتباط صالحة له.

مسار (اختياري)
يعطي المسار قيمة ملفات تعريف الارتباط ؛ المسار الافتراضي هو /.

تعيين ملف تعريف الارتباط (مطلوب)
قم بتعيين اسم / قيمة ملف تعريف الارتباط. يمكن إعطاؤه أكثر من مرة.

يتم فصل الإدخالات المتعددة بسطر فارغ. المثال أدناه سيرسل اثنين من ملفات تعريف الارتباط
لجميع عناوين URL التي تبدأ بـ http://example.com/hello/ وواحد لجميع عناوين URL التي تبدأ بـ
https://example.org/:

المضيف: example.com
المسار: / مرحبًا
تعيين ملف تعريف الارتباط: ID = "smee"
تعيين ملف تعريف الارتباط: البريد العشوائي = "البيض"

المضيف: example.org
تعيين ملف تعريف الارتباط: baggage = "النخبة" ؛ تعليق = "صورة ثلاثية الأبعاد"

PROXY الدعم

لاستخدام وكيل على نظام التشغيل Unix أو Windows ، قم بتعيين $ http_proxy أو $ https_proxy أو $ ftp_proxy
متغيرات البيئة إلى عنوان URL للوكيل. يجب أن يكون عنوان URL بالشكل
http://[المستخدم:pass @]مضيف[:ميناء]. يكتشف LinkChecker أيضًا إعدادات الوكيل اليدوية لـ
Internet Explorer ضمن أنظمة Windows ، و gconf أو KDE على أنظمة Linux. على جهاز Mac استخدم
تكوين الإنترنت لتحديد وكيل. يمكنك أيضًا تعيين قائمة مجال مفصولة بفواصل بتنسيق
متغيرات البيئة no_proxy $ لتجاهل أي إعدادات وكيل لهذه المجالات.
يبدو تعيين وكيل HTTP على نظام Unix على سبيل المثال كما يلي:

تصدير http_proxy = "http://proxy.example.com: 8080 "

مصادقة الوكيل مدعومة أيضًا:

تصدير http_proxy = "http://user1:[البريد الإلكتروني محمي]: 8081 "

تعيين وكيل في موجه أوامر Windows:

اضبط http_proxy =http://proxy.example.com: 8080

إجراء الفحوصات

يجب أن تمر جميع عناوين URL باختبار بناء جملة أولي. أخطاء الاقتباس الطفيفة ستصدر أ
تحذير ، جميع مشكلات البنية غير الصالحة هي أخطاء. بعد اجتياز التحقق من بناء الجملة ، فإن ملف
يتم وضع عنوان URL في قائمة الانتظار للتحقق من الاتصال. يتم وصف جميع أنواع التحقق من الاتصال أدناه.

روابط HTTP (HTTP:, HTTPS:)
بعد الاتصال بخادم HTTP المحدد ، يُطلب المسار أو الاستعلام المحدد. الجميع
يتم اتباع عمليات إعادة التوجيه ، وإذا تم إعطاء المستخدم / كلمة المرور ، فسيتم استخدامها كملف
إذن عند الضرورة. جميع رموز حالة HTTP النهائية بخلاف 2xx هي
أخطاء. يتم فحص محتويات صفحة HTML للتكرار.

ملفات محلية (ملف:)
الملف العادي المقروء الذي يمكن فتحه صالح. الدليل المقروء هو أيضا
صالح. جميع الملفات الأخرى ، على سبيل المثال ملفات الجهاز ، الملفات غير القابلة للقراءة أو غير الموجودة
هي أخطاء. يتم فحص محتويات ملفات HTML أو غيرها من الملفات القابلة للتحليل بحثًا عن العودية.

روابط البريد (ميلتو:)
ينتقل رابط mailto في النهاية إلى قائمة عناوين البريد الإلكتروني. إذا كان عنوان واحد
فشل ، ستفشل القائمة بأكملها. لكل عنوان بريد نتحقق مما يلي
أمور:
1) تحقق من تركيب العنوان ، كل من الجزء قبل وبعد
الإشارة.
2) ابحث عن سجلات MX DNS. إذا لم نعثر على سجل MX ،
اطبع خطأ.
3) تحقق مما إذا كان أحد مضيفي البريد يقبل اتصال SMTP.
تحقق من المضيفين بأولوية أعلى أولاً.
إذا لم يقبل أي مضيف SMTP ، فإننا نطبع تحذيرًا.
4) حاول التحقق من العنوان باستخدام أمر VRFY. إذا وصلنا
إجابة ، اطبع العنوان الذي تم التحقق منه كمعلومات.

روابط FTP (بروتوكول نقل الملفات:)

بالنسبة إلى روابط FTP ، نقوم بما يلي:

1) الاتصال بالمضيف المحدد
2) حاول تسجيل الدخول باستخدام المستخدم وكلمة المرور المحددين. الافتراضي
المستخدم '' مجهول '' ، كلمة المرور الافتراضية هي '' anonymous @ ``.
3) حاول التغيير إلى الدليل المحدد
4) سرد الملف باستخدام الأمر NLST

روابط Telnet (`` telnet: '')

نحاول الاتصال وإذا تم إعطاء المستخدم / كلمة المرور ، فقم بتسجيل الدخول إلى
نظرا لخادم التلنت.

روابط NNTP (`` الأخبار: '' ، `` snews: '' ، `` nntp '')

نحاول الاتصال بخادم NNTP المحدد. إذا كانت مجموعة إخبارية أو
المقالة محددة ، حاول أن تطلبها من الخادم.

روابط غير مدعومة (`` javascript: `` ، إلخ.)

لن يؤدي الارتباط غير المدعوم إلا إلى طباعة تحذير. لا مزيد من الفحص
يتم استرداد أي مبلغ.

يمكن العثور على القائمة الكاملة للروابط التي تم التعرف عليها ولكن غير مدعومة
في ال linkcheck / checker / unknownurl.py مصدر الملف.
يجب أن يكون أبرزها روابط JavaScript.

PLUGINS

هناك نوعان من المكونات الإضافية: المكونات الإضافية للاتصال والمحتوى. يتم تشغيل ملحقات الاتصال
بعد اتصال ناجح بمضيف URL. يتم تشغيل المكونات الإضافية للمحتوى إذا كان نوع URL
يحتوي على محتوى (mailto: عناوين URL ليس لها محتوى على سبيل المثال) وإذا لم يكن الاختيار ممنوعًا
(على سبيل المثال ، عن طريق HTTP robots.txt). يرى فاحص الروابط - قائمة المكونات الإضافية للحصول على قائمة المكونات الإضافية و
توثيق. يتم تمكين جميع المكونات الإضافية عبر ملف linkcheckerrc(5) ملف التكوين.

العودية

قبل النزول بشكل متكرر إلى عنوان URL ، يجب أن يفي بعدة شروط. هم
تم التحقق بهذا الترتيب:

1. يجب أن يكون عنوان URL صالحًا.

2. يجب أن يكون عنوان URL قابلاً للتحليل. يتضمن هذا حاليًا ملفات HTML ،
ملفات الإشارات المرجعية في Opera والأدلة. إذا كان نوع الملف لا يمكن
يتم تحديده (على سبيل المثال لا يحتوي على ملف HTML شائع
الامتداد ، والمحتوى لا يشبه HTML) ، من المفترض
لتكون غير قابلة للتحليل.

3. يجب أن يكون محتوى URL قابلاً للاسترجاع. هذا هو الحال عادة
باستثناء على سبيل المثال mailto: أو أنواع URL غير معروفة.

4. يجب عدم تجاوز الحد الأقصى لمستوى العودية. تم تكوينه
مع الالجائزة - على مستوى الاستدارة الخيار وغير محدود لكل افتراضي.

5. يجب ألا يتطابق مع قائمة عناوين URL التي تم تجاهلها. يتم التحكم في هذا بواسطة
ال --تسجيل- URL الخيار.

6. يجب أن يسمح بروتوكول Robots Exclusion Protocol أن تكون الروابط الموجودة في عنوان URL
يتبع بشكل متكرر. يتم التحقق من ذلك من خلال البحث عن ملف
توجيه "nofollow" في بيانات رأس HTML.

لاحظ أن عودية الدليل تقرأ جميع الملفات في هذا الدليل ، وليس مجرد مجموعة فرعية
مثل index.htm *.

الملاحظات

عناوين URL على سطر الأوامر التي تبدأ بـ بروتوكول نقل الملفات. يعاملون مثل بروتوكول نقل الملفات: // بروتوكول نقل الملفات.، تبدأ عناوين URL بـ
شبكة الاتصالات العالمية. يعاملون مثل http://www.. يمكنك أيضًا تقديم الملفات المحلية كوسيطات.

إذا كان نظامك قد تم تكوينه لإنشاء اتصال بالإنترنت تلقائيًا
(على سبيل المثال مع Diald) ، سيتم الاتصال عند التحقق من الروابط التي لا تشير إلى مضيفك المحلي.
استخدم --تسجيل- URL خيار لمنع هذا.

روابط جافا سكريبت غير مدعومة.

إذا كان النظام الأساسي الخاص بك لا يدعم الترابط ، يقوم LinkChecker بتعطيله تلقائيًا.

يمكنك توفير عدة أزواج مستخدم / كلمة مرور في ملف تكوين.

عند التدقيق الأخبار: الروابط لا يلزم أن يكون مضيف NNTP هو نفسه مضيف
المستخدم الذي يتصفح صفحاتك.

البيئة

NNTP_SERVER - تحدد خادم NNTP الافتراضي
الموقع الوكيل - يحدد خادم وكيل HTTP الافتراضي
ftp_proxy - يحدد خادم وكيل FTP الافتراضي
لا الوكيل - قائمة المجالات مفصولة بفواصل لعدم الاتصال عبر خادم وكيل
رسائل LC, لانج, لغة - تحديد لغة الإخراج

عودة VALUE

القيمة المعادة هي 2 عندما

· حدث خطأ في البرنامج.

القيمة المعادة هي 1 عندما

تم العثور على روابط غير صالحة أو

تم العثور على تحذيرات الارتباط وتمكين التحذيرات

وإلا فإن القيمة المرجعة هي صفر.

القيود

يستهلك LinkChecker الذاكرة لكل عنوان URL في قائمة الانتظار للتحقق منه. مع الآلاف من عناوين URL في قائمة الانتظار
يمكن أن تصبح كمية الذاكرة المستهلكة كبيرة جدًا. هذا قد يبطئ البرنامج أو
حتى النظام بأكمله.

استخدم فاحص الروابط عبر الإنترنت باستخدام خدمات onworks.net