linkchecker - クラウド上のオンライン

プログラム：

NAME

linkchecker - HTML ドキュメントと Web サイトのリンク切れをチェックするコマンド ライン クライアント

SYNOPSIS

リンクチェッカー [オプション] [ファイルまたは URL] ...

DESCRIPTION

リンクチェッカーの機能

· 再帰的およびマルチスレッドチェック、

· カラーまたは通常のテキスト、HTML、SQL、CSV、XML、またはサイトマップ グラフで出力します。
さまざまなフォーマット、

· HTTP/1.1、HTTPS、FTP、mailto:、news:、nntp:、Telnet、ローカル ファイルのサポート
リンク、

・URLフィルターによるリンクチェックの制限、

· プロキシサポート、

· HTTP、FTP、および Telnet のユーザー名/パスワード認証、

· robots.txt 除外プロトコルのサポート、

· Cookie のサポート

· HTML5のサポート

· HTMLとCSSの構文チェック

・ウイルス対策チェック

· コマンドライン、GUI、Webインターフェース

例

最も一般的な使用法は、指定されたドメインを再帰的にチェックすることです。
リンクチェッカー http://www.example.com/
これにより、何千もの URL が存在する可能性があるサイト全体がチェックされることに注意してください。 使用 -r
再帰の深さを制限するオプション。
URL をチェックしないでください /秘密 その名前で。 他のすべてのリンクは通常どおりチェックされます。
リンクチェッカー --ignore-url=/秘密 mysite.example.com
Unix 上のローカル HTML ファイルを確認する:
リンクチェッカー ../bla.html
Windows でローカル HTML ファイルを確認する:
リンクチェッカー c:\temp\test.html
スキップできます http:// ドメインが次で始まる場合の URL 部分 WWW。:
リンクチェッカー www.example.com
スキップできます FTP：// ドメインが次で始まる場合の URL 部分 ftp。:
リンクチェッカー -r0 ftp.example.com
サイトマップ グラフを生成し、graphviz dot ユーティリティを使用して変換します。
リンクチェッカー -オドット -v www.example.com | ドット -Tps > サイトマップ.ps

OPTIONS

全般 オプション
-fファイル名, --config =ファイル名
　 ファイル名 設定ファイルとして。 LinkChecker がデフォルトで使用するものとして
~/.linkchecker/linkcheckerrc.

-h, - 助けて
助けて！ このプログラムの使用法情報を出力します。

--標準入力
標準入力からチェックする空白で区切られた URL のリストを読み取ります。

-t数, --threads =数
指定された数を超えるスレッドは生成されません。 デフォルトのスレッド数は
100. スレッドを無効にするには、正以外の数値を指定します。

-V, - バージョン
バージョンを印刷して終了します。

--リスト-プラグイン
利用可能なチェック プラグインを印刷して終了します。

出力 オプション
-DSTRING, --debug =STRING
指定されたロガーのデバッグ出力を出力します。 利用可能なロガーは次のとおりです。 コマンドライン,
点検, キャッシュ, GUI, DNS 　 を。 指定する を すべてを指定するためのエイリアスです
利用可能なロガー。 このオプションは、複数回指定して、次のものをデバッグできます。
ロガーがXNUMX人。 正確な結果を得るために、デバッグ実行中はスレッドが無効になります。

-Fタイプ[/エンコーディング][/ファイル名], --ファイル出力=タイプ[/エンコーディング][/ファイル名]
ファイルに出力する リンクチェッカーアウト。タイプ, $HOME/.linkchecker/ブラックリスト の ブラックリスト
出力、または ファイル名 指定されている場合。 の エンコーディング 出力エンコーディングを指定します。
デフォルトはロケールのデフォルトです。 有効なエンコーディングは次の場所にリストされています。
http://docs.python.org/library/codecs.html#standard-encodings.
当学校区の ファイル名 　 エンコーディング の部分 なし それ以外の場合、出力タイプは無視されます。
ファイルがすでに存在する場合は上書きされます。 このオプションをさらに指定できます
一度よりも。 有効なファイル出力タイプは次のとおりです。 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO 많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다. , HTML, SQL, csvファイル, gml, ドット, XML,
サイトマップ, なし or ブラックリスト。 デフォルトはファイル出力なしです。 さまざまな出力タイプ
以下に文書化されています。 オプションを使用すると、すべてのコンソール出力を抑制できることに注意してください。
-o なし.

- ステタスはありません
チェックステータスメッセージを出力しません。

-警告なし
警告を記録しません。 デフォルトでは、警告をログに記録します。

-oタイプ[/エンコーディング], --output =タイプ[/エンコーディング]
出力タイプを次のように指定します 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO 많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다. , HTML, SQL, csvファイル, gml, ドット, XML, サイトマップ, なし or
ブラックリスト。 デフォルトのタイプは 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO 많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다. 。 さまざまな出力タイプを以下に説明します。
当学校区の エンコーディング 出力エンコーディングを指定します。デフォルトはロケールのエンコーディングです。
有効なエンコーディングは次の場所にリストされています。 http://docs.python.org/library/codecs.html＃標準-
エンコーディング.

-q, - 静かな
静かな動作、別名 -o なし。 これは次の場合にのみ役立ちます -F.

-v, -詳細
チェックされたすべての URL をログに記録します。 デフォルトでは、エラーと警告のみがログに記録されます。

-W正規表現, --warning-regex=正規表現
の内容と一致する場合に警告を出力する正規表現を定義します。
チェックしたリンク。 これは有効なページにのみ適用されるため、コンテンツを取得できます。
これを使用して、何らかの形式のエラーを含むページをチェックします。たとえば、「このページ」
移動しました」または「Oracle アプリケーション エラー」。
正規表現では複数の値を組み合わせることができることに注意してください。たとえば、
「(このページは移動しました|Oracle アプリケーション エラー)」。
セクションを参照 REGULAR 表現 詳細はこちら

チェック オプション
--cookiefile=ファイル名
初期 Cookie データを含むファイルを読み取ります。 Cookieのデータ形式については以下で説明します。

--check-extern
外部 URL を確認してください。

--ignore-url=正規表現
指定された正規表現に一致する URL は無視され、チェックされません。
このオプションは複数回指定できます。
セクションを参照 REGULAR 表現 詳細はこちら

-NSTRING, --nntp-server=STRING
NNTPサーバーを指定します ニュース： リンク。 デフォルトは環境変数です
NNTP_サーバー。 ホストが指定されていない場合は、リンクの構文のみがチェックされます。

--no-フォローurl=正規表現
指定された正規表現に一致する URL を確認しますが、再帰的には実行しません。
このオプションは複数回指定できます。
セクションを参照 REGULAR 表現 詳細はこちら

-p, - パスワード
コンソールからパスワードを読み取り、HTTP および FTP 認証に使用します。 FTPの場合
デフォルトのパスワードは 匿名@。 HTTP の場合、デフォルトのパスワードはありません。 こちらも参照
-u.

-r数, --再帰レベル=数
指定された深さまでのすべてのリンクを再帰的にチェックします。 負の深度を指定すると、
無限再帰。 デフォルトの深さは無限です。

--timeout =数
接続試行のタイムアウトを秒単位で設定します。 デフォルトのタイムアウトは 60 です
秒です。

-uSTRING, --user =STRING
HTTP および FTP 認証用に指定されたユーザー名を試してください。 FTP の場合はデフォルト
ユーザー名は 匿名の。 HTTP の場合、デフォルトのユーザー名はありません。 こちらも参照 -p.

--user-agent =STRING
HTTP サーバーに送信するユーザー エージェント文字列を指定します。たとえば、
「Mozilla/4.0」。 デフォルトは「LinkChecker/XY」です。XY は現在のバージョンです。
リンクチェッカー。

CONFIGURATION ファイル

構成ファイルでは、上記のすべてのオプションを指定できます。 また、いくつかのオプションを指定することもできます。
コマンドラインでは設定できません。 見る リンクチェッカーrc詳細については (5) を参照してください。

出力 TYPES

デフォルトでは、エラーと警告のみがログに記録されることに注意してください。 を使用する必要があります。 -詳細
特にサイトマップ グラフ形式を出力する場合に、完全な URL リストを取得するオプション。

클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO 많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다. 標準のテキスト ロガー。キーワード: 引数形式で URL を記録します。

HTML キーワード: 引数形式で URL をログに記録し、HTML としてフォーマットします。 さらにリンクあり
参考にしたページへ。 無効な URL には HTML および CSS の構文チェック リンクが含まれています
添付。

csvファイル チェック結果を XNUMX 行に XNUMX つの URL を含む CSV 形式でログに記録します。

gml リンクされた URL 間の親子関係を GML サイトマップ グラフとして記録します。

ドット リンクされた URL 間の親子関係を DOT サイトマップ グラフとして記録します。

gxml チェック結果を GraphXML サイトマップ グラフとしてログに記録します。

XML チェック結果を機械可読 XML としてログに記録します。

サイトマップ
チェック結果を XML サイトマップとしてログに記録します。そのプロトコルは次の場所に文書化されています。
http://www.sitemaps.org/protocol.html.

SQL INSERT コマンドを使用してチェック結果を SQL スクリプトとしてログに記録します。 作成するスクリプトの例
初期 SQL テーブルは create.sql として含まれています。

ブラックリスト
cron ジョブに適しています。 チェック結果をファイルに記録します ~/.linkchecker/ブラックリスト
これには、無効な URL を含むエントリとその回数のみが含まれます。
失敗しました。

なし 何も記録しません。 デバッグや終了コードの確認に適しています。

REGULAR 表現

LinkChecker は Python 正規表現を受け入れます。 見る http://docs.python.org/
howto/regex.html 紹介のために。

さらに、先頭の感嘆符は正規表現を否定します。

COOKIE ファイル

Cookie ファイルには、次のような標準 HTTP ヘッダー (RFC 2616) データが含まれています。
名前：

主催者 （必須）
Cookie が有効なドメインを設定します。

パス (optional)
Cookie の値となるパスを指定します。 デフォルトのパスは /.

セットクッキー （必須）
Cookieの名前/値を設定します。 複数回与えることも可能です。

複数のエントリは空行で区切られます。 以下の例では XNUMX つの Cookie を送信します。
で始まるすべての URL http://example.com/hello/ で始まるすべての URL に XNUMX つ
https://example.org/:

ホスト：example.com
パス: /hello
セットクッキー: ID="smee"
セットクッキー: spam="卵"

ホスト: example.org
セットクッキー：baggage="エリート主義者"; コメント=「ホログラム」

PROXY サポート

Unix または Windows でプロキシを使用するには、$http_proxy、$https_proxy、または $ftp_proxy を設定します。
環境変数をプロキシ URL に追加します。 URL は次の形式である必要があります。
http://[user:パス@]host[:ポート]。 LinkChecker は、次の手動プロキシ設定も検出します。
Windows システムでは Internet Explorer、Linux システムでは gconf または KDE。 Macで使用する場合
インターネット設定でプロキシを選択します。 カンマ区切りのドメイン リストを設定することもできます。
$no_proxy 環境変数を使用して、これらのドメインのプロキシ設定を無視します。
たとえば、Unix での HTTP プロキシの設定は次のようになります。

エクスポート http_proxy=http://proxy.example.com:8080"

プロキシ認証もサポートされています。

エクスポート http_proxy=http://user1:[メール保護]:8081"

Windows コマンド プロンプトでプロキシを設定します。

http_proxy= を設定しますhttp://proxy.example.com：8080

実行済み チェック

すべての URL は予備的な構文テストに合格する必要があります。 軽微な引用ミスがあると、
警告、その他の無効な構文の問題はすべてエラーです。 構文チェックに合格すると、
URL は接続チェックのためにキューに入れられます。 すべての接続チェックのタイプを以下に説明します。

HTTP リンク (http：, HTTPS：)
指定された HTTP サーバーに接続した後、指定されたパスまたはクエリが要求されます。 全て
リダイレクトに従い、ユーザー/パスワードが指定されている場合は、次のように使用されます。
必要に応じて許可を与えます。 2xx 以外のすべての最終 HTTP ステータス コードは次のとおりです。
エラー。 HTML ページのコンテンツの再帰がチェックされます。

ローカルファイル (ファイル：)
開くことができる通常の読み取り可能なファイルは有効です。 読み取り可能なディレクトリも
有効。 他のすべてのファイル (デバイス ファイル、読み取り不能または存在しないファイルなど)
はエラーです。 HTML またはその他の解析可能なファイルの内容が再帰的にチェックされます。

メールリンク (mailto：)
mailto: リンクは最終的に電子メール アドレスのリストに解決されます。 住所がXNUMXつの場合
失敗すると、リスト全体が失敗します。 メールアドレスごとに以下をチェックします
物事：
1) アドレスの前後の構文を確認してください。
記号。
2) MX DNS レコードを検索します。 MX レコードが見つからなかった場合は、
エラーを出力します。
3) いずれかのメール ホストが SMTP 接続を受け入れるかどうかを確認します。
優先度の高いホストを最初に確認してください。
SMTP を受け入れるホストがない場合は、警告が出力されます。
4) VRFY コマンドでアドレスを確認してみます。 もし私たちが得たなら
回答の場合は、確認されたアドレスを情報として出力します。

FTP リンク (ftp:)

FTP リンクの場合、次のことを行います。

1) 指定されたホストに接続します
2) 指定されたユーザーとパスワードを使用してログインを試みます。 デフォルト
ユーザーは ``anonymous`` 、デフォルトのパスワードは ``anonymous@`` です。
3) 指定されたディレクトリに変更してみます
4) NLST コマンドでファイルをリストします。

Telnet リンク (``telnet:``)

接続を試みます。ユーザー/パスワードが指定されている場合は、にログインします。
指定された Telnet サーバー。

NNTP リンク (``news:``、``snews:``、``nntp``)

指定された NNTP サーバーへの接続を試みます。 ニュースグループや
記事が指定されている場合は、サーバーにリクエストしてみます。

サポートされていないリンク (``javascript:`` など)

サポートされていないリンクでは、警告が出力されるだけです。 それ以上のチェックはありません
できるでしょう。

認識されているがサポートされていないリンクの完全なリストが見つかります。
会場は linkcheck/checker/unknownurl.py ソースファイル。
その中で最も目立つのは JavaScript リンクでしょう。

PLUGINS

プラグインには、接続プラグインとコンテンツ プラグインの XNUMX つのタイプがあります。 接続プラグインが実行される
URL ホストへの接続に成功した後。 URL タイプが次の場合にコンテンツ プラグインが実行されます。
コンテンツがある (たとえば、mailto: URL にはコンテンツがありません) チェックが禁止されていない場合
(つまり、HTTP robots.txt による)。 見る リンクチェッカー --リスト-プラグイン プラグインとそのリストについては、
ドキュメンテーション。 すべてのプラグインは、 リンクチェッカーrc(5) 設定ファイル。

再帰

URL に再帰的に降りる前に、いくつかの条件を満たす必要があります。 彼らです
この順序でチェックされます。

1. URL は有効である必要があります。

2. URL は解析可能である必要があります。 これには現在 HTML ファイルが含まれています。
Opera はファイルとディレクトリをブックマークします。 できないファイルの種類の場合
決定する必要があります (たとえば、共通の HTML ファイルが存在しないなど)
拡張子が拡張子であり、コンテンツが HTML のように見えない）と想定されます。
解析不可能であること。

3. URL コンテンツは取得可能である必要があります。 通常はこれが当てはまります
たとえば、mailto: または不明な URL タイプを除きます。

4. 最大再帰レベルを超えてはなりません。 設定されています
--再帰レベル オプションであり、デフォルトでは無制限です。

5. 無視される URL リストと一致してはなりません。 これは次で制御されます
　 --ignore-url オプションを選択します。

6. ロボット排除プロトコルでは、URL 内のリンクを許可する必要があります。
再帰的に続きました。 これは、
HTMLヘッダーデータ内の「nofollow」ディレクティブ。

ディレクトリ再帰では、サブセットだけでなく、そのディレクトリ内のすべてのファイルが読み取られることに注意してください。
ような インデックス.htm*.

注意事項

で始まるコマンドラインの URL ftp。 のように扱われます ftp://ftp., で始まる URL
WWW。 のように扱われます http://www.。 引数としてローカル ファイルを指定することもできます。

インターネットへの接続を自動的に確立するようにシステムが設定されている場合
(たとえば、diald を使用)、ローカル ホストを指していないリンクをチェックすると接続します。
--ignore-url これを防ぐオプション。

Javascript リンクはサポートされていません。

プラットフォームがスレッド化をサポートしていない場合、LinkChecker はスレッド化を自動的に無効にします。

構成ファイルには複数のユーザー/パスワードのペアを指定できます。

チェックするとき ニュース： 指定された NNTP ホストのリンクは、のホストと同じである必要はありません。
ユーザーがあなたのページを閲覧していること。

ENVIRONMENT

NNTP_サーバー - デフォルトのNNTPサーバーを指定します
http_proxy - デフォルトのHTTPプロキシサーバーを指定します
ftp_proxy - デフォルトの FTP プロキシ サーバーを指定します
no_proxy - プロキシサーバー経由で接続しないドメインのカンマ区切りのリスト
LC_MESSAGES, 言語, 言語 - 出力言語を指定する

リターン VALUE

次の場合、戻り値は 2 になります。

· プログラムエラーが発生しました。

次の場合、戻り値は 1 になります。

· 無効なリンクが見つかった、または

· リンク警告が見つかり、警告が有効になっています

それ以外の場合、戻り値はゼロになります。

制限

LinkChecker は、キューに入れられた URL ごとにメモリを消費してチェックします。 数千の URL がキューに登録されている場合
消費されるメモリの量は非常に多くなる可能性があります。 これによりプログラムの速度が低下したり、
システム全体さえも。

onworks.net サービスを使用してオンラインでリンクチェッカーを使用する