これは pyspider という名前の Linux アプリで、最新リリースは v0.3.10.zip としてダウンロードできます。 ワークステーション用の無料ホスティング プロバイダー OnWorks でオンラインで実行できます。
pyspiderという名前のこのアプリをOnWorksで無料でダウンロードしてオンラインで実行します。
このアプリを実行するには、次の手順に従ってください。
-1。このアプリケーションをPCにダウンロードしました。
--2。ファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXに必要なユーザー名を入力します。
-3。このアプリケーションをそのようなファイルマネージャにアップロードします。
-4。このWebサイトからOnWorksLinuxオンラインまたはWindowsオンラインエミュレーターまたはMACOSオンラインエミュレーターを起動します。
-5。起動したばかりのOnWorksLinux OSから、必要なユーザー名でファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXにアクセスします。
-6。アプリケーションをダウンロードし、インストールして実行します。
スクリーンショットは
Ad
ピスパイダー
DESCRIPTION
pyspiderは、Pythonの強力なSpider（Web Crawler）システムです。 コンポーネントはメッセージキューによって接続されます。 メッセージキューを含むすべてのコンポーネントは、独自のプロセス/スレッドで実行されており、交換可能です。 つまり、プロセスが遅い場合は、プロセッサのインスタンスを多数作成して複数のCPUを最大限に活用したり、複数のマシンにデプロイしたりできます。 このアーキテクチャにより、pyspiderは非常に高速になります。 ベンチマーク。 pyspiderにはさまざまなコンポーネントがあるため、pyspiderを実行するだけで、スタンドアロンのXNUMX番目のサービスフリーインスタンスを起動できます。 または、MySQLまたはMongoDBとRabbitMQを使用して、分散クロールクラスターをデプロイします。 pyspiderを製品環境にデプロイするには、各プロセスでコンポーネントを実行し、データベースサービスにデータを保存する方が信頼性と柔軟性が高くなります。 pyspiderコンポーネントを各単一プロセスにデプロイするには、少なくともXNUMXつのデータベースサービスが必要です。 pyspiderは、MySQL、MongoDB、およびPostgreSQLをサポートするようになりました。 そのうちのXNUMXつを選択できます。
特徴
- Pythonでスクリプトを書く
- スクリプトエディター、タスクモニター、プロジェクトマネージャー、結果ビューアーを備えた強力なWebUI
- MySQL、MongoDB、Redis、SQLite、Elasticsearch; データベースバックエンドとしてSQLAlchemyを使用するPostgreSQL
- メッセージキューとしてのRabbitMQ、Beanstalk、Redis、Kombu
- タスクの優先度、再試行、定期的、年齢別の再クロールなど。
- 分散アーキテクチャ、クロールJavascriptページ、Python 2＆3など。
プログラミング言語
Python
カテゴリー
これは、https：//sourceforge.net/projects/pyspider.mirror/からも取得できるアプリケーションです。 無料のオペレーティングシステムのXNUMXつから最も簡単な方法でオンラインで実行するために、OnWorksでホストされています。
