Это приложение для Linux под названием Crawlab, последнюю версию которого можно загрузить как v0.6.3.zip. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите онлайн это приложение под названием Crawlab с OnWorks бесплатно.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ
Ad
Краулаб
ОПИСАНИЕ
Платформа управления распределенным веб-сканером на основе Golang, поддерживающая различные языки, включая Python, NodeJS, Go, Java, PHP и различные платформы веб-сканеров, включая Scrapy, Puppeteer, Selenium. Пожалуйста, используйте docker-compose для запуска одним щелчком мыши. При этом вам даже не нужно настраивать базу данных MongoDB. Фронтенд-приложение взаимодействует с главным узлом, который взаимодействует с другими компонентами, такими как MongoDB, SeaweedFS и рабочими узлами. Главный узел и рабочие узлы взаимодействуют друг с другом через gRPC (инфраструктура RPC). Задачи планируются модулем планировщика задач в главном узле и принимаются модулем обработчика задач в рабочих узлах, который выполняет эти задачи в средствах выполнения задач. Исполнители задач на самом деле являются процессами, запускающими программы-пауки или сканеры, а также могут отправлять данные через gRPC (интегрированный в SDK) в другие источники данных, например MongoDB.
Особенности
- Планирование заданий
- Управление рабочим узлом и связь
- Развертывание паука
- Фронтенд и API-сервисы
- Выполнение задачи (вы можете рассматривать главный узел как рабочий узел)
- Интеграция с другими фреймворками
Язык программирования
Питон, PHP, Java, Го
Категории
Это приложение также можно загрузить с https://sourceforge.net/projects/crawlab.mirror/. Он был размещен в OnWorks, чтобы его можно было легко запускать в Интернете с помощью одной из наших бесплатных операционных систем.