Это приложение для Windows под названием Scrapy-Redis, последний выпуск которого можно загрузить как Version0.7.1Released.zip. Его можно запустить онлайн в бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите онлайн это приложение под названием Scrapy-Redis с OnWorks бесплатно.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите любой онлайн-эмулятор OS OnWorks с этого сайта, но лучше онлайн-эмулятор Windows.
- 5. В только что запущенной ОС Windows OnWorks перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение и установите его.
- 7. Загрузите Wine из репозиториев программного обеспечения вашего дистрибутива Linux. После установки вы можете дважды щелкнуть приложение, чтобы запустить его с помощью Wine. Вы также можете попробовать PlayOnLinux, необычный интерфейс поверх Wine, который поможет вам установить популярные программы и игры для Windows.
Wine - это способ запустить программное обеспечение Windows в Linux, но без Windows. Wine - это уровень совместимости с Windows с открытым исходным кодом, который может запускать программы Windows непосредственно на любом рабочем столе Linux. По сути, Wine пытается заново реализовать Windows с нуля, чтобы можно было запускать все эти Windows-приложения, фактически не нуждаясь в Windows.
СКРИНШОТЫ:
Скрапи-Редис
ОПИСАНИЕ:
Вы можете запустить несколько экземпляров пауков, которые используют одну очередь Redis. Лучше всего подходит для широкого сканирования нескольких доменов. Очищенные элементы помещаются в очередь redis, что означает, что вы можете запускать столько процессов постобработки, сколько необходимо, разделяя очередь элементов. Планировщик + фильтр дублирования, конвейер предметов, базовые пауки. Сериализатор запросов по умолчанию - pickle, но его можно изменить на любой модуль с функциями загрузки и выгрузки. Обратите внимание, что pickle несовместим между версиями python. Версия 0.3 изменила сериализацию запросов с маршала на cPickle, поэтому постоянные запросы, использующие версию 0.2, не смогут работать в 0.3. Класс scrapy_redis.spiders.RedisSpider позволяет пауку читать URL-адреса из Redis. URL-адреса в очереди Redis будут обрабатываться один за другим, если первый запрос дает больше запросов, паук обработает эти запросы перед получением другого URL-адреса из Redis.
Особенности
- Распределенное сканирование / парсинг
- Распределенная постобработка
- Компоненты scrapy plug-and-play
- Требуется Python 2.7, 3.4 или 3.5
- Redis> = 2.8 требуется
- Планировщик + фильтр дублирования, конвейер предметов, базовые пауки
Язык программирования
Питон
Это приложение также можно загрузить с https://sourceforge.net/projects/scrapy-redis.mirror/. Он размещен в OnWorks, чтобы его можно было легко запускать в Интернете с помощью одной из наших бесплатных операционных систем.