这是名为 Scrapy-Redis 的 Windows 应用程序，其最新版本可以作为 Version0.7.1Released.zip 下载。 它可以在工作站的免费托管服务提供商 OnWorks 中在线运行。
使用 OnWorks 免费下载并在线运行这个名为 Scrapy-Redis 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从本网站启动任何 OS OnWorks 在线模拟器，但更好的 Windows 在线模拟器。
- 5. 从您刚刚启动的 OnWorks Windows 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序并安装。
- 7. 从您的 Linux 发行版软件存储库下载 Wine。 安装后，您可以双击该应用程序以使用 Wine 运行它们。 您还可以尝试 PlayOnLinux，这是 Wine 上的一个花哨界面，可帮助您安装流行的 Windows 程序和游戏。
Wine 是一种在 Linux 上运行 Windows 软件的方法，但不需要 Windows。 Wine 是一个开源的 Windows 兼容层，可以直接在任何 Linux 桌面上运行 Windows 程序。 本质上，Wine 试图从头开始重新实现足够多的 Windows，以便它可以运行所有这些 Windows 应用程序，而实际上不需要 Windows。
SCREENSHOTS
Ad
Scrapy-Redis
商品描述
您可以启动多个共享单个 redis 队列的蜘蛛实例。 最适合广泛的多域抓取。 废弃的项目被推送到一个 redis 队列中，这意味着您可以根据需要启动任意数量的共享项目队列的后处理进程。 调度程序 + 重复过滤器、项目管道、基础蜘蛛。 默认请求序列化程序是pickle，但它可以更改为具有加载和转储功能的任何模块。 请注意，pickle 在 python 版本之间不兼容。 0.3 版本将请求序列化从 marshal 更改为 cPickle，因此使用 0.2 版本的持久请求将无法在 0.3 上工作。 类scrapy_redis.spiders.RedisSpider 使蜘蛛能够从redis 读取url。 redis 队列中的 url 将一个接一个处理，如果第一个请求产生更多请求，spider 将在从 redis 获取另一个 url 之前处理这些请求。
特征
- 分布式爬取/抓取
- 分布式后处理
- Scrapy 即插即用组件
- 需要 Python 2.7、3.4 或 3.5
- 需要 Redis >= 2.8
- 调度程序 + 重复过滤器、项目管道、基础蜘蛛
程式语言
蟒蛇
这是一个也可以从 https://sourceforge.net/projects/scrapy-redis.mirror/ 获取的应用程序。 它已托管在 OnWorks 中，以便从我们的免费操作系统之一以最简单的方式在线运行。
