linkchecker - מקוון בענן

תָכְנִית:

שֵׁם

linkchecker - לקוח שורת פקודה לבדיקת מסמכי HTML ואתרי אינטרנט עבור קישורים שבורים

תַקצִיר

בודק קישורים [אפשרויות] [קובץ או כתובת אתר] ...

תיאור

תכונות LinkChecker

· בדיקה רקורסיבית ומרובת הליכים,

· פלט בטקסט צבעוני או רגיל, HTML, SQL, CSV, XML או מפת אתר גרף
פורמטים שונים,

· תמיכה ב-HTTP/1.1, HTTPS, FTP, mailto:, news:, nntp:, Telnet וקובץ מקומי
קישורים,

· הגבלה של בדיקת קישורים עם מסנני כתובות אתרים,

· תמיכת פרוקסי,

· הרשאת שם משתמש/סיסמה עבור HTTP, FTP ו-Telnet,

· תמיכה בפרוטוקול אי הכללה של robots.txt,

· תמיכה בעוגיות

· תמיכה ב-HTML5

· בדיקת תחביר HTML ו-CSS

· בדיקת אנטי וירוס

· שורת פקודה, GUI וממשק אינטרנט

דוגמאות

השימוש הנפוץ ביותר בודק את התחום הנתון באופן רקורסיבי:
בודק קישורים http://www.example.com/
היזהר שזה בודק את כל האתר שיכול לכלול אלפי כתובות אתרים. להשתמש ב -r
אפשרות להגביל את עומק הרקורסיה.
אל תבדוק עם כתובות אתרים /סוֹד בשמה. כל שאר הקישורים נבדקים כרגיל:
בודק קישורים --ignore-url=/secret mysite.example.com
בדיקת קובץ HTML מקומי ב-Unix:
בודק קישורים ../bla.html
בדיקת קובץ HTML מקומי ב-Windows:
בודק קישורים c:\temp\test.html
אתה יכול לדלג על ה- http:// חלק url אם הדומיין מתחיל עם www.:
בודק קישורים www.example.com
אתה יכול לדלג על ה- ftp: // חלק url אם הדומיין מתחיל עם ftp.:
בודק קישורים -r0 ftp.example.com
צור גרף מפת אתר והמר אותו בעזרת כלי השירות graphviz dot:
בודק קישורים -odot -v www.example.com | נקודה -Tps > sitemap.ps

אפשרויות

כללי אפשרויות
-fשם קובץ, --config=שם קובץ
השתמש שם קובץ כקובץ תצורה. כברירת מחדל משתמש LinkChecker
~/.linkchecker/linkcheckerrc.

-h, - עזרה
תעזור לי! הדפס מידע שימוש עבור תוכנית זו.

--סטדין
קרא את רשימת כתובות האתרים המופרדות ברווחים לבנים כדי לבדוק מ-stdin.

-tמספר, --חוטים=מספר
צור לא יותר ממספר השרשורים הנתון. מספר ברירת המחדל של שרשורים הוא
100. כדי לבטל שרשור ציין מספר לא חיובי.

-V, --גִרְסָה
גרסת הדפסה ויציאה.

--list-plugins
הדפס בדיקת פלאגינים זמינים וצא.

תְפוּקָה אפשרויות
-DSTRING, --debug=STRING
הדפס פלט ניפוי באגים עבור לוגר הנתון. כתיבי עצים זמינים הם קו ס"מ,
בדיקה, מטמון, GUI, DNS ו את כל. מפרט את כל הוא כינוי לציון הכל
כתיבי עצים זמינים. ניתן לתת את האפשרות מספר פעמים לבצע ניפוי באגים עם יותר מ
לוגר אחד. לקבלת תוצאות מדויקות, השרשור יושבת במהלך ריצות ניפוי באגים.

-Fסוג[/הַצפָּנָה][/שם קובץ], --file-output=סוג[/הַצפָּנָה][/שם קובץ]
פלט לקובץ בדיקת קישורים.סוג, $HOME/.linkchecker/בלאקליסט ל לכלול ברשימה שחורה
פלט, או שם קובץ אם צוין. ה הַצפָּנָה מציין את קידוד הפלט, ה
ברירת המחדל היא זו של המקום שלך. קידודים חוקיים מופיעים ב
http://docs.python.org/library/codecs.html#קידודים סטנדרטיים.
אל האני שם קובץ ו הַצפָּנָה חלק מ אף לא אחד סוג הפלט יתעלם, אחרת אם
הקובץ כבר קיים, הוא יוחלף. אתה יכול לציין אפשרות זו יותר
מפעם אחת. סוגי פלט קבצים חוקיים הם טֶקסט, html, SQL, csv, Gml, נקודה, xml,
מפת האתר, אף לא אחד or לכלול ברשימה שחורה. ברירת המחדל היא ללא פלט קובץ. סוגי הפלט השונים
מתועדים להלן. שים לב שאתה יכול לדכא את כל פלט המסוף עם האפשרות
-o אף לא אחד.

--ללא סטטוס
אל תדפיס הודעות סטטוס בדיקה.

--ללא אזהרות
אל תרשום אזהרות. ברירת המחדל היא רישום אזהרות.

-oסוג[/הַצפָּנָה], --פלט=סוג[/הַצפָּנָה]
ציין את סוג הפלט כ טֶקסט, html, SQL, csv, Gml, נקודה, xml, מפת האתר, אף לא אחד or
לכלול ברשימה שחורה. סוג ברירת המחדל הוא טֶקסט. סוגי הפלט השונים מתועדים להלן.
אל האני הַצפָּנָה מציין את קידוד הפלט, ברירת המחדל היא זו של המקום שלך.
קידודים חוקיים מופיעים ב http://docs.python.org/library/codecs.html#תֶקֶן-
קידודים.

-q, --שֶׁקֶט
פעולה שקטה, כינוי עבור -o אף לא אחד. זה שימושי רק עם -F.

-v, --מִלוּלִי
רישום את כל כתובות האתרים המסומנות. ברירת המחדל היא רישום רק שגיאות ואזהרות.

-WREGEX, --warning-regex=REGEX
הגדר ביטוי רגולרי שמדפיס אזהרה אם הוא תואם תוכן כלשהו של ה-
קישור מסומן. זה חל רק על דפים חוקיים, כדי שנוכל לקבל את התוכן שלהם.
השתמש בזה כדי לבדוק אם יש דפים המכילים צורה כלשהי של שגיאה, למשל "דף זה
עבר" או "שגיאת יישום אורקל".
שים לב שניתן לשלב מספר ערכים בביטוי הרגולרי, למשל
"(דף זה הועבר|שגיאת יישום אורקל)".
ראה סעיף רגיל ביטויים למידע נוסף.

בדיקה אפשרויות
--cookiefile=שם קובץ
קרא קובץ עם נתוני קובצי Cookie ראשוניים. פורמט נתוני העוגיות מוסבר להלן.

--check-extern
בדוק כתובות URL חיצוניות.

--ignore-url=REGEX
כתובות אתרים התואמות לביטוי הרגולרי הנתון יתעלמו ולא יבדקו.
אפשרות זו יכולה להינתן מספר פעמים.
ראה סעיף רגיל ביטויים למידע נוסף.

-NSTRING, --nntp-server=STRING
ציין שרת NNTP עבור חדשות: קישורים. ברירת המחדל היא משתנה הסביבה
NNTP_SERVER. אם לא ניתן מארח, רק התחביר של הקישור מסומן.

--no-follow-url=REGEX
בדוק אך אל תחזור לכתובות URL התואמות לביטוי הרגולרי הנתון.
אפשרות זו יכולה להינתן מספר פעמים.
ראה סעיף רגיל ביטויים למידע נוסף.

-p, --סיסמה
קרא סיסמה מהמסוף והשתמש בה להרשאת HTTP ו-FTP. עבור FTP
סיסמת ברירת המחדל היא בעילום שם@. עבור HTTP אין סיסמת ברירת מחדל. ראה גם
-u.

-rמספר, --רמת הרקורסיה=מספר
בדוק באופן רקורסיבי את כל הקישורים עד לעומק נתון. עומק שלילי יאפשר
רקורסיה אינסופית. עומק ברירת המחדל הוא אינסופי.

--פסק זמן=מספר
הגדר את הזמן הקצוב לניסיונות חיבור בשניות. פסק הזמן המוגדר כברירת מחדל הוא 60
שניות.

-uSTRING, --user=STRING
נסה את שם המשתמש הנתון עבור הרשאת HTTP ו-FTP. עבור FTP ברירת המחדל
שם המשתמש הוא אנונימי. עבור HTTP אין שם משתמש ברירת מחדל. ראה גם -p.

--user-agent=STRING
ציין את מחרוזת User-Agent לשליחת שרת ה-HTTP, למשל
"Mozilla/4.0". ברירת המחדל היא "LinkChecker/XY" כאשר XY היא הגרסה הנוכחית של
LinkChecker.

תְצוּרָה קבצים

קובצי תצורה יכולים לציין את כל האפשרויות לעיל. הם יכולים גם לציין כמה אפשרויות
לא ניתן להגדיר בשורת הפקודה. לִרְאוֹת linkcheckerrc(5) למידע נוסף.

תפוקה סוגי

שים לב שכברירת מחדל רק שגיאות ואזהרות נרשמות. כדאי להשתמש ב- --מִלוּלִי
אפשרות לקבל את רשימת הכתובות המלאה, במיוחד בעת הפלט של פורמט גרף מפת אתר.

טֶקסט לוגר טקסט רגיל, רישום כתובות אתרים במילת מפתח: אופנת ארגומנטים.

html רישום כתובות אתרים במילת מפתח: אופנת ארגומנטים, בפורמט כ-HTML. בנוסף יש קישורים
לדפים המוזכרים. לכתובות URL לא חוקיות יש קישורי בדיקת תחביר HTML ו-CSS
צורף.

csv תוצאת בדיקת יומן בפורמט CSV עם כתובת אתר אחת בכל שורה.

Gml רישום יחסי הורה-ילד בין כתובות URL מקושרות כתרשים מפת אתר של GML.

נקודה רישום יחסי הורה-ילד בין כתובות URL מקושרות כתרשים מפת אתר DOT.

gxml תוצאת בדיקת יומן כגרף מפת אתר של GraphXML.

xml תוצאת בדיקת יומן כ-XML קריא במכונה.

מפת האתר
תוצאת בדיקת יומן כמפת אתר XML שהפרוטוקול שלה מתועד
http://www.sitemaps.org/protocol.html.

SQL תוצאת בדיקת יומן כסקריפט SQL עם פקודות INSERT. סקריפט לדוגמה ליצירה
טבלת SQL הראשונית כלולה בתור create.sql.

לכלול ברשימה שחורה
מתאים לעבודות קרון. רושם את תוצאת הבדיקה לקובץ ~/.linkchecker/בלאקליסט
שמכיל רק ערכים עם כתובות URL לא חוקיות ומספר הפעמים שיש להן
נכשל.

אף לא אחד לא רושם כלום. מתאים לאיפוי באגים או לבדיקת קוד היציאה.

רגיל ביטויים

LinkChecker מקבל ביטויים רגולריים של Python. לִרְאוֹת http://docs.python.org/
howto/regex.html למבוא.

תוספת היא שסימן קריאה מוביל שולל את הביטוי הרגולרי.

עוגייה קבצים

קובץ cookie מכיל נתוני כותרת HTTP סטנדרטיים (RFC 2616) עם האפשרויות הבאות
שמות:

מארח (נדרש)
מגדיר את הדומיין שקובצי ה-cookie תקפים עבורו.

נתיב (לא חובה)
נותן את הנתיב שהעוגיות הן ערך עבורו; נתיב ברירת המחדל הוא /.

סט-עוגייה (נדרש)
הגדר שם/ערך של קובץ Cookie. ניתן לתת יותר מפעם אחת.

ערכים מרובים מופרדים בשורה ריקה. הדוגמה שלהלן תשלח שתי עוגיות
לכל כתובות האתרים שמתחילות ב http://example.com/hello/ ואחת לכל כתובות האתרים שמתחילות ב
https://example.org/:

מארח: example.com
נתיב: /שלום
Set-cookie: ID="smee"
Set-cookie: spam="egg"

מארח: example.org
Set-cookie: baggage="elitist"; comment="הולוגרמה"

PROXY תמיכה

כדי להשתמש בפרוקסי ב-Unix או ב-Windows, הגדר את $http_proxy, $https_proxy או $ftp_proxy
משתני סביבה לכתובת ה-proxy. כתובת האתר צריכה להיות מהצורה
http://[המשתמש:לעבור@]המארח[:נמל]. LinkChecker מזהה גם הגדרות פרוקסי ידניות של
Internet Explorer במערכות Windows, ו-gconf או KDE במערכות לינוקס. שימוש ב-Mac
תצורת האינטרנט כדי לבחור פרוקסי. אתה יכול גם להגדיר רשימת דומיינים מופרדים בפסיקים
משתני הסביבה $no_proxy כדי להתעלם מכל הגדרות פרוקסי עבור תחומים אלה.
הגדרת פרוקסי HTTP ב-Unix למשל נראית כך:

ייצא http_proxy="http://proxy.example.com: 8080 "

אימות פרוקסי נתמך גם:

ייצא http_proxy="http://user1:[מוגן בדוא"ל]: 8081 "

הגדרת פרוקסי בשורת הפקודה של Windows:

הגדר http_proxy=http://proxy.example.com: 8080

מְבוּצָע בדיקות

כל כתובות האתרים צריכות לעבור מבחן תחביר ראשוני. טעויות ציטוט קלות יגרמו א
אזהרה, כל שאר בעיות התחביר הלא חוקיות הן שגיאות. לאחר שבדיקת התחביר עוברת, ה-
כתובת האתר נמצאת בתור לבדיקת חיבור. כל סוגי בדיקת החיבור מתוארים להלן.

קישורי HTTP (http:, https:)
לאחר החיבור לשרת ה-HTTP הנתון מתבקש הנתיב או השאילתה הנתונים. את כל
עוקבים אחר הפניות מחדש, ואם יינתן משתמש/סיסמה היא תשמש כ
אישור בעת הצורך. כל קודי המצב הסופי של HTTP מלבד 2xx הם
שגיאות. תוכן דף HTML נבדק עבור רקורסיה.

תיקים מקומיים (קובץ:)
קובץ רגיל וקריא שניתן לפתוח הוא חוקי. ספרייה קריא היא גם
תָקֵף. כל שאר הקבצים, למשל קבצי מכשיר, קבצים בלתי קריאים או לא קיימים
הם שגיאות. HTML או תוכן אחר של קובץ שניתן לנתח נבדק עבור רקורסיה.

קישורי דואר (mailto:)
קישור mailto: פונה בסופו של דבר לרשימת כתובות דוא"ל. אם כתובת אחת
נכשל, כל הרשימה תיכשל. עבור כל כתובת דואר אנו בודקים את הדברים הבאים
דברים:
1) בדוק את תחביר הכתובות, גם של החלק שלפני וגם אחרי
הסימן.
2) חפש את רשומות MX DNS. אם לא מצאנו רשומת MX,
להדפיס שגיאה.
3) בדוק אם אחד ממארחי הדואר מקבל חיבור SMTP.
בדוק תחילה מארחים בעלי עדיפות גבוהה יותר.
אם אף מארח לא מקבל SMTP, אנו מדפיסים אזהרה.
4) נסה לאמת את הכתובת עם הפקודה VRFY. אם קיבלנו
תשובה, הדפס את הכתובת המאומתת כמידע.

קישורי FTP (ftp:)

עבור קישורי FTP אנו עושים:

1) התחבר למארח שצוין
2) נסה להיכנס עם המשתמש והסיסמה שניתנו. ברירת המחדל
המשתמש הוא ``אנונימי``, סיסמת ברירת המחדל היא ``anonymous@``.
3) נסה לעבור לספרייה הנתונה
4) רשום את הקובץ עם הפקודה NLST

קישורי Telnet (``telnet:``)

אנחנו מנסים להתחבר ואם ניתנת משתמש/סיסמה, התחבר ל-
נתון שרת telnet.

קישורי NNTP (``חדשות:``, ``snews:``, ``nntp``)

אנו מנסים להתחבר לשרת ה-NNTP הנתון. אם קבוצת חדשות או
המאמר צוין, נסה לבקש אותו מהשרת.

קישורים לא נתמכים (``javascript:`` וכו')

קישור לא נתמך ידפיס רק אזהרה. אין בדיקה נוספת
ייעשה.

ניתן למצוא את הרשימה המלאה של קישורים מוכרים אך לא נתמכים
ב linkcheck/checker/unknownurl.py קובץ מקור.
הבולטים שבהם צריכים להיות קישורי JavaScript.

PLUGINS

ישנם שני סוגי תוספים: חיבור ותוספי תוכן. תוספי חיבור פועלים
לאחר חיבור מוצלח למארח כתובת האתר. תוספי תוכן מופעלים אם סוג כתובת האתר
יש תוכן (mailto: לכתובות URL אין תוכן למשל) ואם הבדיקה אינה אסורה
(כלומר על ידי HTTP robots.txt). לִרְאוֹת בודק קישורים --list-plugins עבור רשימה של תוספים ושלהם
תיעוד. כל התוספים מופעלים באמצעות linkcheckerrc(5) קובץ תצורה.

רקורסיה

לפני ירידה רקורסיבית לכתובת אתר, עליה לעמוד במספר תנאים. הם
מסומן בסדר הזה:

1. כתובת אתר חייבת להיות חוקית.

2. כתובת URL חייבת להיות ניתנת לניתוח. זה כולל כרגע קבצי HTML,
Opera מסמנת קבצים וספריות. אם סוג קובץ אינו יכול
ייקבע (לדוגמה אין לו קובץ HTML משותף
הרחבה, והתוכן לא נראה כמו HTML), ההנחה היא
להיות בלתי ניתן לניתוח.

3. תוכן כתובת האתר חייב להיות ניתן לאחזור. זה בדרך כלל המצב
למעט למשל mailto: או סוגי URL לא ידועים.

4. אין לחרוג מרמת הרקורסיה המקסימלית. זה מוגדר
עם --רמת רקורסיה אפשרות והיא בלתי מוגבלת כברירת מחדל.

5. אסור שתתאים לרשימת כתובות האתרים שהתעלמו ממנה. זה נשלט עם
מה היא --התעלם מכתובת האתר אוֹפְּצִיָה.

6. פרוטוקול אי הכללת רובוטים חייב לאפשר קישורים בכתובת האתר
עקבו באופן רקורסיבי. זה נבדק על ידי חיפוש א
הנחיית "nofollow" בנתוני כותרת HTML.

שים לב שהרקורסיה של הספרייה קוראת את כל הקבצים בספרייה זו, לא רק תת-קבוצה
כמו index.htm*.

אורים

כתובות אתרים בשורת הפקודה שמתחילה ב- ftp. מטופלים כמו ftp://ftp., כתובות אתרים שמתחילות ב
www. מטופלים כמו http://www.. אתה יכול גם לתת קבצים מקומיים כארגומנטים.

אם המערכת שלך מוגדרת ליצירת חיבור אוטומטי לאינטרנט
(למשל עם חיוג), הוא יתחבר בעת בדיקת קישורים שאינם מפנים למארח המקומי שלך.
השתמש --התעלם מכתובת האתר אפשרות למנוע זאת.

קישורי Javascript אינם נתמכים.

אם הפלטפורמה שלך לא תומכת בהשרשור, LinkChecker משבית אותה באופן אוטומטי.

אתה יכול לספק מספר זוגות משתמש/סיסמה בקובץ תצורה.

בעת בדיקה חדשות: קישורים המארח הנתון של NNTP לא צריך להיות זהה למארח של
המשתמש הגולש בדפים שלך.

הסביבה

NNTP_SERVER - מציין שרת NNTP המוגדר כברירת מחדל
http_proxy - מציין ברירת המחדל של שרת פרוקסי HTTP
ftp_proxy - מציין שרת פרוקסי FTP ברירת מחדל
no_proxy - רשימה מופרדת בפסיקים של דומיינים שאין ליצור קשר עם שרת פרוקסי
LC_MESSAGES, שפה, שָׂפָה - ציין שפת פלט

לַחֲזוֹר ערך

ערך ההחזרה הוא 2 כאשר

· אירעה שגיאת תוכנית.

ערך ההחזרה הוא 1 כאשר

· נמצאו קישורים לא חוקיים או

· נמצאו אזהרות קישור ואזהרות מופעלות

אחרת ערך ההחזר הוא אפס.

מגבלות

LinkChecker צורך זיכרון עבור כל כתובת URL בתור לבדיקה. עם אלפי כתובות אתרים בתור
כמות הזיכרון הנצרכת יכולה להיות גדולה למדי. זה עשוי להאט את התוכנית או
אפילו המערכת כולה.

השתמש ב-linkchecker באינטרנט באמצעות שירותי onworks.net