これは、Ubuntu Online、Fedora Online、Windows オンライン エミュレーター、または MAC OS オンライン エミュレーターなどの複数の無料オンライン ワークステーションの XNUMX つを使用して、OnWorks 無料ホスティング プロバイダーで実行できるコマンド httrack です。
プログラム:
NAME
httrack - オフライン ブラウザ: Web サイトをローカル ディレクトリにコピーします
SYNOPSIS
httrack [ URL ] ... [ -フィルター ] ... [ +フィルター ] ... [ -O、 - 道 ] [ -w、 - 鏡 ] [ -W、
--ミラーウィザード ] [ -NS、 --get-files ] [ -私、 - 継続する ] [ -Y、 --ミラーリンク ] [ -NS、
- プロキシー ] [ -%f、 --httpproxy-ftp[=N] ] [ -%b、 - 練る ] [ -rN、 --深さ[=N] ] [ -%eN、
--ext- Depth[=N] ] [ -mN、 --max-files[=N] ] [ -ミネソタ州 --最大サイズ[=N] ] [ -EN、 --最大時間[=N] ]
[ -アン、 --最大レート[=N] ] [ -%cN、 --XNUMX 秒あたりの接続数[=N] ] [ -おやすみなさい、 --max-pause[=N] ] [
-cN、 --ソケット[=N] ] [ -TN、 --タイムアウト[=N] ] [ -RN、 --再試行[=N] ] [ -JN、 --min-rate[=N] ]
[ -HNさん --ホスト制御[=N] ] [ -%P、 --拡張解析[=N] ] [ -NS、 - 近く ] [ -NS、 - テスト ]
[ -%L、 - リスト ] [ -%S、 --urllist ] [ -NN、 --構造[=N] ] [ -%D、
--キャッシュされた遅延型チェック ] [ -%M、 --mime-html ] [ -LN、 --長い名前[=N] ] [ -KNさん
--keep-links[=N] ] [ -NS、 --replace-external ] [ -%バツ、 --無効化パスワード ] [ -%q、
--include-クエリ文字列 ] [ -o、 -- 生成エラー ] [ -NS、 --purge-old[=N] ] [ -%p、
- 保存 ] [ -%T、 --utf8-変換 ] [ -bN、 --クッキー[=N] ] [ -u、 --チェックタイプ[=N] ] [
-NS、 --parse-java[=N] ] [ -sN、 --ロボット[=N] ] [ -%h、 --http-10 ] [ -%k、 - 生き続ける ] [
-%B、 -耐性 ] [ -%s、 --アップデートハック ] [ -%u、 --urlhack ] [ -%A、 - 推定 ] [ -@の、
--プロトコル[=N] ] [ -%w、 --disable-モジュール ] [ -NS、 - ユーザーエージェント ] [ -%R、 -リファラー ] [ -%E、
- から ] [ -%F、 -フッター ] [ -%l、 - 言語 ] [ -%a、 - 受け入れる ] [ -%バツ、 -ヘッダー ] [ -C、
--キャッシュ[=N] ] [ -k、 --すべてをキャッシュに保存 ] [ -%n、 --再捕獲しないでください ] [ -%v、 - 画面 ] [
-NS、 --ログを記録しない ] [ -NS、 - 静かな ] [ -z、 --余分なログ ] [ -Z、 --デバッグログ ] [ -v、 -詳細
] [ -NS、 --ファイルログ ] [ -f2、 --単一ログ ] [ -私、 - 索引 ] [ -%私、 --ビルドトップインデックス ] [
-%私、 --検索インデックス ] [ -pN、 --優先度[=N] ] [ -NS、 --同じディレクトリに留まる ] [ -NS、
--can-go-down ] [ -U、 --can-go-up ] [ -NS、 --上下に移動できます ] [ -a、
--同じアドレスに滞在 ] [ -NS、 --同じドメインに留まる ] [ -l、 --stay-on-same-tld ] [ -e、
--どこにでも行く ] [ -%H、 --デバッグヘッダー ] [ -%!、 -- セキュリティ制限を無効にする ] [ -V、
--userdef-cmd ] [ -%W、 - 折り返し電話 ] [ -K、 --keep-links[=N] ] [
DESCRIPTION
httrack World Wide Web サイトをインターネットからローカルにダウンロードできます。
ディレクトリ、すべてのディレクトリを再帰的に構築、HTML、画像、その他のファイルを取得
サーバーからコンピューターへ。 HTTrack は元のサイトの相対リンクを配置します。
構造。 ブラウザで「ミラーリングされた」Web サイトのページを開くだけで、次のことができます。
オンラインで閲覧しているかのように、リンクからリンクへサイトを閲覧できます。 HTTrack では、次のこともできます。
既存のミラーリングされたサイトを更新し、中断されたダウンロードを再開します。
例
httrack www.someweb.com/bob/
ミラーサイト www.someweb.com/bob/ およびこのサイトのみ
httrack www.someweb.com/bob/ www.anothertest.com/mike/ +*.com/*.jpg -mime:アプリケーション/*
XNUMX つのサイトを一緒にミラーリングし (共有リンクを使用して)、.jpg ファイルを受け入れます。
.com サイト
httrack www.someweb.com/bob/bobby.html +* -r6
これは、bobby.html から始まるすべてのファイルを取得することを意味し、リンク深さは 6 で、次の可能性があります。
ウェブ上のどこにでも行きます
httrack www.someweb.com/bob/bobby.html - クモ -P proxy.myhost.com:8080
プロキシを使用して www.someweb.com/bob/bobby.html でスパイダーを実行します
httrack - 更新
現在のフォルダー内のミラーを更新します
httrack
インタラクティブモードに移行します
httrack - 継続する
現在のフォルダーでミラーリングを継続します
OPTIONS
全般 オプション:
-O ミラー/ログファイル + キャッシュのパス (-O パス ミラー[,パス キャッシュとログファイル]) (--path
)
行動 オプション:
-w *Web サイトをミラーリングします (--mirror)
-W ミラー Web サイト、半自動 (質問) (--mirror-wizard)
-g (現在のディレクトリに保存された) ファイルを取得するだけです (--get-files)
-i キャッシュを使用して中断されたミラーを続行します (--Continue)
-Y 第 XNUMX レベルのページにあるすべてのリンクをミラーリングします (ミラー リンク) (--mirrorlinks)
プロキシ オプション:
-P プロキシの使用 (-P proxy:port または -P user:pass@proxy:port) (--proxy )
-%f *ftp にプロキシを使用します (f0 は使用しません) (--httpproxy-ftp[=N])
-%b このローカル ホスト名を使用してリクエストを作成/送信します (-%b ホスト名) (--bind )
境界 オプション:
-rN ミラーの深さを N に設定します (* r9999) (-- Depth[=N])
-%eN 外部リンクの深さを N に設定します (* %e0) (--ext- Depth[=N])
-mN 非 HTML ファイルの最大ファイル長 (--max-files[=N])
-mN,N2 非 HTML (N) および HTML (N2) の最大ファイル長
-MN アップロード/スキャンできる最大全体サイズ (--max-size[=N])
-EN 最大ミラー時間 (秒単位) (60=1 分、3600=1 時間) (--max-time[=N])
-AN 最大転送速度 (バイト/秒) (1000=最大 1KB/秒) (--max-rate[=N])
-%cN 最大接続数/秒 (*%c10) (--connection-per-sec[=N])
-GN N バイトに達した場合は転送を一時停止し、ロック ファイルが削除されるまで待機します
(--最大一時停止[=N])
Flow コントロール:
-cN 複数接続数 (*c8) (--sockets[=N])
-TN タイムアウト、応答しないリンクがシャットダウンされてからの秒数 (--timeout[=N])
-RN タイムアウトまたは致命的ではないエラーの場合の再試行回数 (*R1) (--retries[=N])
-JN トラフィックジャム制御、リンクで許容される最小転送速度 (バイト/秒)
(--min-rate[=N])
-HN ホストは次の場合に放棄されます: 0= なし、1= タイムアウト、2= 遅い、3= タイムアウトまたは遅い
(--ホストコントロール[=N])
リンク オプション:
-%P *拡張解析。未知のタグや Javascript であっても、すべてのリンクの解析を試みます。
(%P0 は使用しません) (--extended-parsing[=N])
-n HTML ファイルの近くにある非 HTML ファイルを取得します (例: 外部にある画像) (--near)
-t すべての URL (禁止されているものも含む) をテストします (--test)
-%L このテキスト ファイルにあるすべての URL を追加します (XNUMX 行に XNUMX つの URL) (--list )
-%S このテキスト ファイルにあるすべてのスキャン ルールを追加します (XNUMX 行に XNUMX つのスキャン ルール)
(--urllist )
建設 オプション:
-NN 構造タイプ (0 *元の構造、1+: 以下を参照) (--struct[=N])
-またはユーザー定義の構造体 (-N "%h%p/%n%q.%t")
-%N 型チェックを遅延します。リンク テストは行わず、ファイルのダウンロードが開始されるまで待ちます。
代わりに (実験的) (%N0 は使用しません、%N1 は未知の拡張子に使用します、* %N2 は常に使用します)
つかいます)
-%D キャッシュされた遅延型チェック。速度を上げるため、更新中にリモート型を待機しません。
それら (%D0 は待機します、* %D1 は待機しません) (--cached-layed-type-check)
-%M RFC MIME でカプセル化されたフルアーカイブ (.mht) を生成します (--mime-html)
-LN ロングネーム (L1 *ロングネーム / L0 8-3 変換 / L2 ISO9660 互換)
(--長い名前[=N])
-KN は元のリンクを保持します (例: http://www.adr/link) (K0 *相対リンク、K 絶対
リンク、K4 オリジナル リンク、K3 絶対 URI リンク、K5 透過プロキシ リンク)
(--keep-links[=N])
-x 外部 HTML リンクをエラー ページで置き換えます (--replace-external)
-%x には、パスワードで保護された外部 Web サイトのパスワードは含まれません (%x0 は含まれます)
(--パスワードを無効にする)
-%q *ローカル ファイルのクエリ文字列を含めます (役に立たず、情報提供のみを目的としています) (%q0
含めないでください) (--include-query-string)
-o *エラー (404..) の場合に出力 HTML ファイルを生成します (o0 は生成しません)
(--生成エラー)
-X *更新後に古いファイルをパージします (X0 削除を維持します) (--purge-old[=N])
-%p HTML ファイルをそのまま保存します ( -K4 -%F "" と同じ) (--preserve)
-%T は UTF-8 への変換をリンクします (--utf8-conversion)
クモ オプション:
-bN cookies.txt 内の cookie を受け入れます (0= 受け入れません、* 1= 受け入れます) (--cookies[=N])
-u 不明な場合はドキュメント タイプをチェックします (cgi,asp..) (u0 はチェックしません、* u1 はチェックしますが、/、u2
常にチェックします) (--check-type[=N])
-j *Java クラスを解析します (j0 は解析しません。ビットマスク: |1 はデフォルトで解析し、|2 は解析しません)
.class |4 .js |8 を解析しないでください) (--parse-java[=N])
-sN は robots.txt およびメタ ロボット タグに従います (0= 決してしない、1= 時々、* 2= 常に、3= 常に)
(厳密なルールも)) (--robots[=N])
-%h HTTP/1.0 リクエストを強制します (更新機能を減らし、古いサーバーまたはプロキシのみに適用します)
(--http-10)
-%k 可能であればキープアライブを使用し、小さなファイルとテストの遅延を大幅に削減します。
リクエスト (%k0 は使用しません) (--keep-alive)
-%B 許容リクエスト (一部のサーバーでは偽の応答を受け入れますが、標準ではありません!)
(--寛容)
-%s 更新ハック: 更新時の再転送を制限するためのさまざまなハック (同じサイズ、
偽の応答..) (--updatehack)
-%u URL ハック: 重複する URL を制限するためのさまざまなハック (//, www.foo.com==foo.com.. を削除)
(--urlhack)
-%A タイプ (cgi,asp..) は常に MIME タイプ (-%A) にリンクされていると想定します。
php3,cgi=text/html;dat,bin=application/x-zip) (--assume )
- 特定のファイル タイプを強制するためにも使用できます: --assume foo.cgi=text/html
-@iN インターネット プロトコル (0=ipv6+ipv4 の両方、4=ipv4 のみ、6=ipv6 のみ) (--protocol[=N])
-%w 特定の外部 MIME モジュールを無効にします (-%w htsswf -%w htsjava) (--disable-module)
)
ブラウザ ID:
-F HTTP ヘッダーで送信されるユーザー エージェント フィールド (-F "ユーザー エージェント名") (--user-agent )
-%R HTTP ヘッダーで送信されるデフォルトのリファラー フィールド (--referer )
-%E HTTP ヘッダーで送信された電子メール アドレスから (--from )
-%F HTML コード内のフッター文字列 (-%F "ミラーリング [ホスト %s [ファイル %s [at %s]]]"
(--フッター)
-%l 優先言語 (-%l "fr, en, jp, *" (- language )
-%a 受け入れられる形式 (-%a "text/html,image/png;q=0.9,*/*;q=0.1" (--accept) )
-%X 追加の HTTP ヘッダー行 (-%X "X-Magic: 42" (--headers )
ログ、 インデックス、 キャッシュ
-C 更新および再試行用のキャッシュを作成/使用します (C0 キャッシュなし、C1 キャッシュが優先、* C2
更新前にテストしてください) (--cache[=N])
-k すべてのファイルをキャッシュに保存します (ファイルがディスク上にある場合は役に立ちません) (--store-all-in-cache)
-%n ローカルに消去されたファイルを再ダウンロードしません (--do-not-recatch)
-%v ダウンロードされたファイル名を画面に表示します (リアルタイム) - * %v1 短縮バージョン - %v2
フルアニメーション (--表示)
-Q ログなし - 静かモード (--do-not-log)
-q 質問はありません - 静かモード (--静か)
-z log - 追加情報 (--extra-log)
-Z ログ - デバッグ (--debug-log)
-v ログオン画面 (--verbose)
-f *ファイルにログイン (--file-log)
-f2 XNUMX つのログ ファイル (--single-log)
-I *インデックスを作成します (I0 は作成しません) (--index)
-%i プロジェクトフォルダーのトップインデックスを作成します (* %i0 は作成しません) (--build-top-index)
-%I はこのミラーの検索可能なインデックスを作成します (* %I0 は作成しません) (--search-index)
上級 オプション:
-pN 優先モード: (* p3) (--priority[=N])
-p0 スキャンするだけで、何も保存しません(リンクをチェックするため)
-p1 HTML ファイルのみを保存します
-p2 非 HTML ファイルのみを保存します
-*p3 すべてのファイルを保存します
-p7 先に HTML ファイルを取得してから、他のファイルを処理します
-S 同じディレクトリに留まります (--stay-on-same-dir)
-D *サブディレクトリにのみ移動できます (--can-go-down)
-U は上位ディレクトリにのみ移動できます (--can-go-up)
-B はディレクトリ構造内で上下に移動できます (--can-go-up-and-down)
-a *同じアドレスに留まります (--stay-on-same-address)
-d 同じプリンシパル ドメインに留まります (--stay-on-same-domain)
-l 同じ TLD (例: .com) に留まります (--stay-on-same-tld)
-e ウェブ上のどこにでも行きます (--go-everywhere)
-%H ログファイル内の HTTP ヘッダーをデバッグします (--debug-headers)
グル オプション: (から NOT つかいます if 可能)
-#X *最適化されたエンジンを使用します (メモリ境界チェックが制限されています) (--fast-engine)
-#0 フィルター テスト (-#0 *.gif www.bar.com/foo.gif ) (--debug-testfilters )
-#1 テストを簡略化します (-#1 ./foo/bar/../foobar)
-#2 タイプテスト (-#2 /foo/bar.php)
-#C キャッシュ リスト (-#C *.com/spider*.gif (--debug-cache )
-#R キャッシュ修復 (破損したキャッシュ) (--repair-cache)
-#d デバッグパーサー (--debug-parsing)
-#E meta.zip 内の new.zip キャッシュ メタデータを抽出します
-#f は常にログ ファイルをフラッシュします (--advanced-flushlogs)
-#FN フィルターの最大数 (--advanced-maxfilters[=N])
-#h バージョン情報 (--version)
-#K スキャン標準入力 (デバッグ) (--debug-scanstdin)
-#L 最大リンク数 (-#L1000000) (--advanced-maxlinks)
-#p 見苦しい進行状況情報を表示します (--advanced-progressinfo)
-#P キャッチ URL (--catch-url)
-#R 古い FTP ルーチン (デバッグ) (--repair-cache)
-#T 転送操作を生成します。 分ごとのログ (--debug-xfrstats)
-#u 待機時間 (--advanced-wait)
-#Z 転送速度統計を分ごとに生成します (--debug-ratestats)
危険な オプション: (から NOT つかいます ない限り、 フォーム 正確に 知っています 何 フォーム やってます)
-%! 帯域幅の悪用(帯域幅、
同時接続) (--disable-security-limits)
-重要
注: 危険なオプションです。専門家のみに適しています
-細心の注意を払って使用してください
コマンドライン 特定の オプション:
-V 各ファイルの後にシステム コマンドを実行します ($0 はファイル名です: -V "rm \$0")
(--userdef-cmd )
-%W 外部ライブラリ関数をラッパーとして使用します (-%W myfoo.so[,myparameters])
( - 折り返し電話)
詳細: オプション N
-N0 サイト構造 (デフォルト)
-N1 web/ の HTML、web/images/ の画像/その他のファイル
-N2 Web/HTML 内の HTML、Web/画像内の画像/その他
-N3 web/ の HTML、web/ の画像/その他
-N4 web/ に HTML、web/xxx に image/other、xxx はファイル拡張子 (すべて gif)
たとえば、web/gif に配置されます)
-N5 web/xxx 内の画像/その他、および web/HTML 内の HTML
-N99 web/ 内のすべてのファイル (ランダムな名前) (ガジェット!)
-N100 サイト構造、www.domain.xxx/ なし
-N101 「web」がサイト名に置き換えられることを除いて、N1 と同じです。
-N102 「web」がサイト名に置き換えられることを除いて、N2 と同じです。
-N103 「web」がサイト名に置き換えられることを除いて、N3 と同じです。
-N104 「web」がサイト名に置き換えられることを除いて、N4 と同じです。
-N105 「web」がサイト名に置き換えられることを除いて、N5 と同じです。
-N199 「web」がサイト名に置き換えられることを除いて、N99 と同じです。
-N1001 「web」ディレクトリがないことを除いて N1 と同じ
-N1002 「web」ディレクトリがないことを除いて N2 と同じ
-N1003 "web" ディレクトリがないことを除いて N3 と同じです (g オプションに設定されたオプション)
-N1004 「web」ディレクトリがないことを除いて N4 と同じ
-N1005 「web」ディレクトリがないことを除いて N5 と同じ
-N1099 「web」ディレクトリがないことを除いて N99 と同じ
詳細: ユーザー定義の オプション N
%n ファイルタイプを含まないファイル名 (例: 画像)
%N ファイルの種類を含むファイル名 (例: image.gif)
%t ファイルの種類 (例: gif)
%p パス [/ で終わらない] (例: /someimages)
%h ホスト名 (例: www.someweb.com)
%M URL MD5 (128 ビット、32 ASCII バイト)
%Q クエリ文字列 MD5 (128 ビット、32 ASCII バイト)
%k 完全なクエリ文字列
%r プロトコル名 (例: http)
%q 小さなクエリ文字列 MD5 (16 ビット、4 ASCII バイト)
%s? 短縮名のバージョン (例: %sN)
%[param] クエリ文字列内の param 変数
%[param:before:after:empty:notfound] 高度な変数抽出
詳細: ユーザー定義の オプション N および 高度な 変数 抽出
%[パラメータ:前:後:空:見つかりません]
-param : パラメータ名
-前
: パラメータが見つかった場合に先頭に追加する文字列
-after : パラメータが見つかった場合に追加する文字列
-見つかりません
: パラメータが見つからなかった場合の文字列置換
-empty : パラメータが空の場合の文字列置換
- 最初のフィールド (パラメータ名) を除くすべてのフィールドは空にすることができます
詳細: オプション K
-K0 foo.cgi?q=45 -> foo4B54.html?q=45 (相対 URI、デフォルト)
-K -> http://www.foobar.com/folder/foo.cgi?q=45 (絶対 URL) (--keep-links[=N])
-K3 -> /folder/foo.cgi?q=45 (絶対 URI)
-K4 -> foo.cgi?q=45 (元の URL)
-K5 -> http://www.foobar.com/folder/foo4B54.html?q=45 (透過的なプロキシ URL)
ショートカット:
- 鏡
*サイトのミラーを作成します (デフォルト)
- 得る
指定されたファイルを取得します。他の URL は検索しません (-qg)
- リスト
このテキスト ファイルにあるすべての URL を追加します (-%L)
--ミラーリンク
第 1 レベルのページのすべてのリンクをミラーリングします (-Y)
--テストリンク
ページ内のリンクをテストする (-r1p0C0I0t)
- クモ
スパイダー サイト、リンクをテストする: エラーと警告をレポート (-p0C0I0t)
--テストサイト
--spider と同じ
- スケルトン
ミラーを作成しますが、HTML ファイルのみを取得します (-p1)
- 更新
確認なしでミラーを更新します (-iC2)
- 継続する
確認なしでミラーリングを続行します (-iC1)
--catchurl
URL またはフォーム投稿 URL をキャプチャするための一時プロキシを作成します
- 掃除
キャッシュとログファイルを消去する
--http10
http/1.0 リクエストを強制する (-%h)
詳細: オプション %W: 外部 コールバック プロトタイプ
htsdefines.h
onworks.net サービスを使用してオンラインで httrack を使用する