これはScrapy-Redisという名前のWindowsアプリで、最新リリースはVersion0.7.1Released.zipとしてダウンロードできます。 ワークステーション用の無料ホスティングプロバイダーOnWorksでオンラインで実行できます。
Scrapy-Redisという名前のこのアプリをOnWorksで無料でダウンロードしてオンラインで実行します。
このアプリを実行するには、次の手順に従ってください。
-1。このアプリケーションをPCにダウンロードしました。
--2。ファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXに必要なユーザー名を入力します。
-3。このアプリケーションをそのようなファイルマネージャにアップロードします。
-4。このWebサイトからOSOnWorksオンラインエミュレーターを起動しますが、Windowsオンラインエミュレーターの方が優れています。
-5。起動したばかりのOnWorksWindows OSから、必要なユーザー名でファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXにアクセスします。
-6。アプリケーションをダウンロードしてインストールします。
-7.LinuxディストリビューションソフトウェアリポジトリからWineをダウンロードします。 インストールしたら、アプリをダブルクリックして、Wineで実行できます。 また、人気のあるWindowsプログラムやゲームのインストールに役立つWine上の豪華なインターフェイスであるPlayOnLinuxを試すこともできます。
WineはLinux上でWindowsソフトウェアを実行する方法ですが、Windowsは必要ありません。 Wineは、任意のLinuxデスクトップでWindowsプログラムを直接実行できるオープンソースのWindows互換性レイヤーです。 基本的に、Wineは、実際にWindowsを必要とせずに、これらすべてのWindowsアプリケーションを実行できるように、十分な数のWindowsを最初から再実装しようとしています。
スクリーンショットは
Ad
スクレイピー・レディス
DESCRIPTION
0.3つのredisキューを共有する複数のスパイダーインスタンスを開始できます。 幅広いマルチドメインクロールに最適です。 スクラップされたアイテムはredisキューにプッシュされます。つまり、アイテムキューを共有する後処理プロセスを必要なだけ開始できます。 スケジューラー+複製フィルター、アイテムパイプライン、ベーススパイダー。 デフォルトのリクエストシリアライザーはpickleですが、ロードおよびダンプ機能を備えた任意のモジュールに変更できます。 pickleはPythonバージョン間で互換性がないことに注意してください。 バージョン0.2は、リクエストのシリアル化をマーシャルからcPickleに変更したため、バージョン0.3を使用して永続化されたリクエストはXNUMXでは機能しません。 クラスscrapy_redis.spiders.RedisSpiderを使用すると、スパイダーはredisからURLを読み取ることができます。 redisキュー内のURLは次々に処理されます。最初のリクエストでさらにリクエストが発生した場合、スパイダーはそれらのリクエストを処理してから、redisから別のURLをフェッチします。
特徴
- 分散クロール/スクレイピング
- 分散後処理
- くだらないプラグアンドプレイコンポーネント
- Python 2.7、3.4、または3.5が必要
- Redis> = 2.8が必要
- スケジューラー+複製フィルター、アイテムパイプライン、ベーススパイダー
プログラミング言語
Python
これは、https：//sourceforge.net/projects/scrapy-redis.mirror/からも取得できるアプリケーションです。 無料のオペレーティングシステムのXNUMXつから最も簡単な方法でオンラインで実行するために、OnWorksでホストされています。
