这是名为 pyspider 的 Linux 应用程序,其最新版本可以下载为 v0.3.10.zip。 它可以在工作站的免费托管服务提供商 OnWorks 中在线运行。
使用 OnWorks 免费下载并在线运行这个名为 pyspider 的应用程序。
请按照以下说明运行此应用程序:
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统,使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序,安装并运行。
SCREENSHOTS
Ad
蜘蛛
商品描述
pyspider 是一个强大的 Python 蜘蛛(网络爬虫)系统。 组件通过消息队列连接。 每个组件,包括消息队列,都在自己的进程/线程中运行,并且可以替换。 这意味着,当进程很慢时,您可以拥有多个处理器实例并充分利用多个 CPU,或者部署到多台机器上。 这种架构使 pyspider 非常快。 标杆。 由于 pyspider 具有各种组件,您只需运行 pyspider 即可启动一个独立的第三个无服务实例。 或者使用 MySQL 或 MongoDB 和 RabbitMQ 部署分布式爬虫集群。 在产品环境中部署pyspider,在每个进程中运行组件并将数据存储在数据库服务中更加可靠和灵活。 要在每个单个进程中部署 pyspider 组件,您至少需要一个数据库服务。 pyspider 现在支持 MySQL、MongoDB 和 PostgreSQL。 您可以选择其中之一。
特征
- 用 Python 编写脚本
- 带有脚本编辑器、任务监视器、项目管理器和结果查看器的强大 WebUI
- MySQL、MongoDB、Redis、SQLite、Elasticsearch; 使用 SQLAlchemy 作为数据库后端的 PostgreSQL
- RabbitMQ、Beanstalk、Redis 和 Kombu 作为消息队列
- 任务优先级、重试、定期、按年龄重爬等。
- 分布式架构、抓取Javascript页面、Python 2&3等。
程式语言
蟒蛇
分类目录
这是一个也可以从 https://sourceforge.net/projects/pyspider.mirror/ 获取的应用程序。 它已托管在 OnWorks 中,以便从我们的免费操作系统之一以最简单的方式在线运行。