这是名为 Crawlab 的 Linux 应用程序，其最新版本可以下载为 v0.6.3.zip。 它可以在免费的工作站托管提供商 OnWorks 中在线运行。
使用 OnWorks 免费下载并在线运行这个名为 Crawlab 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
抓取实验室
商品描述
基于Golang的分布式网络爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种语言和Scrapy、Puppeteer、Selenium等多种网络爬虫框架。 请使用docker-compose 一键启动。 通过这样做，您甚至不必配置 MongoDB 数据库。 前端应用程序与主节点交互，主节点与其他组件（如 MongoDB、SeaweedFS 和工作节点）进行通信。 主节点和工作节点通过 gRPC（RPC 框架）相互通信。 任务由主节点中的任务调度器模块调度，并由工作节点中的任务处理程序模块接收，工作节点在任务运行器中执行这些任务。 Task runners实际上是运行spider或crawler程序的进程，也可以通过gRPC（集成在SDK中）将数据发送到其他数据源，如MongoDB。
特性
- 任务
- 工作节点管理和通信
- 蜘蛛部署
- 前端和 API 服务
- 任务执行（可以把Master节点看成Worker节点）
- 与其他框架集成
程式语言
Python、PHP、Java、围棋
分类
这是一个也可以从 https://sourceforge.net/projects/crawlab.mirror/ 获取的应用程序。 它已托管在 OnWorks 中，以便以最简单的方式从我们的免费操作系统之一在线运行。
