Це програма для Windows під назвою Scrapy-Redis, останню версію якої можна завантажити як Version0.7.1Released.zip. Його можна запустити в режимі онлайн у постачальника безкоштовного хостингу OnWorks для робочих станцій.
Завантажте та запустіть онлайн цю програму під назвою Scrapy-Redis з OnWorks безкоштовно.
Дотримуйтесь цих інструкцій, щоб запустити цю програму:
- 1. Завантажив цю програму на свій ПК.
- 2. Введіть у наш файловий менеджер https://www.onworks.net/myfiles.php?username=XXXXX із потрібним ім'ям користувача.
- 3. Завантажте цю програму в такий файловий менеджер.
- 4. Запустіть будь-який онлайн емулятор ОС OnWorks з цього веб-сайту, але кращий онлайн-емулятор Windows.
- 5. З ОС OnWorks Windows, яку ви щойно запустили, перейдіть до нашого файлового менеджера https://www.onworks.net/myfiles.php?username=XXXXX з потрібним іменем користувача.
- 6. Завантажте програму та встановіть її.
- 7. Завантажте Wine зі сховищ програмного забезпечення дистрибутивів Linux. Після встановлення ви можете двічі клацнути програму, щоб запустити їх за допомогою Wine. Ви також можете спробувати PlayOnLinux, модний інтерфейс замість Wine, який допоможе вам встановити популярні програми та ігри Windows.
Wine — це спосіб запуску програмного забезпечення Windows на Linux, але без використання Windows. Wine — це рівень сумісності Windows з відкритим вихідним кодом, який може запускати програми Windows безпосередньо на будь-якому робочому столі Linux. По суті, Wine намагається повторно реалізувати достатньо Windows з нуля, щоб він міг запускати всі ці програми Windows, насправді не потребуючи Windows.
СКРЕНИ:
Скрепі-Редіс
ОПИС:
Ви можете запустити кілька екземплярів-павуків, які спільно використовують одну чергу redis. Найкраще підходить для широкого багатодоменного сканування. Зроблені елементи переміщуються до черги redis, що означає, що ви можете запускати необхідну кількість процесів постобробки, які спільно використовують чергу елементів. Планувальник + фільтр дублювання, конвеєр елементів, базові павуки. Серіалізатор запитів за замовчуванням є pickle, але його можна змінити на будь-який модуль з функціями завантаження та дампу. Зауважте, що pickle несумісний між версіями Python. Версія 0.3 змінила серіалізацію запитів з marshal на cPickle, тому постійні запити, які використовують версію 0.2, не зможуть працювати на 0.3. Клас scrapy_redis.spiders.RedisSpider дозволяє павуку читати URL-адреси з redis. URL-адреси в черзі redis будуть оброблятися один за одним, якщо перший запит дає більше запитів, павук обробить ці запити, перш ніж отримати іншу URL-адресу з redis.
риси
- Поширене повзання/скрібання
- Розподілена постобробка
- Компоненти Scrapy plug-and-play
- Потрібен Python 2.7, 3.4 або 3.5
- Потрібно Redis >= 2.8
- Планувальник + фільтр дублювання, конвеєр елементів, базові павуки
Мова програмування
Python
Це додаток, який також можна отримати з https://sourceforge.net/projects/scrapy-redis.mirror/. Його розміщено в OnWorks, щоб його можна було запустити в Інтернеті найпростішим способом з однієї з наших безкоштовних операційних систем.