Dies ist die Windows-App namens Scrapy-Redis, deren neueste Version als Version0.7.1Released.zip heruntergeladen werden kann. Es kann online beim kostenlosen Hosting-Anbieter OnWorks für Workstations ausgeführt werden.
Laden Sie diese App namens Scrapy-Redis mit OnWorks kostenlos herunter und führen Sie sie online aus.
Befolgen Sie diese Anweisungen, um diese App auszuführen:
- 1. Diese Anwendung auf Ihren PC heruntergeladen.
- 2. Geben Sie in unserem Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX den gewünschten Benutzernamen ein.
- 3. Laden Sie diese Anwendung in einem solchen Dateimanager hoch.
- 4. Starten Sie einen beliebigen OS OnWorks-Online-Emulator von dieser Website, aber einen besseren Windows-Online-Emulator.
- 5. Rufen Sie vom gerade gestarteten OnWorks Windows-Betriebssystem unseren Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX mit dem gewünschten Benutzernamen auf.
- 6. Laden Sie die Anwendung herunter und installieren Sie sie.
- 7. Laden Sie Wine aus den Software-Repositorys Ihrer Linux-Distributionen herunter. Nach der Installation können Sie dann auf die App doppelklicken, um sie mit Wine auszuführen. Sie können auch PlayOnLinux ausprobieren, eine schicke Schnittstelle über Wine, die Ihnen bei der Installation beliebter Windows-Programme und -Spiele hilft.
Wine ist eine Möglichkeit, Windows-Software unter Linux auszuführen, jedoch ohne Windows. Wine ist eine Open-Source-Windows-Kompatibilitätsschicht, die Windows-Programme direkt auf jedem Linux-Desktop ausführen kann. Im Wesentlichen versucht Wine, genügend Windows von Grund auf neu zu implementieren, damit alle diese Windows-Anwendungen ausgeführt werden können, ohne dass Windows tatsächlich benötigt wird.
SCREENSHOTS:
Scrapy-Redis
BESCHREIBUNG:
Sie können mehrere Spider-Instanzen starten, die sich eine einzige Redis-Warteschlange teilen. Am besten geeignet für umfangreiche Multi-Domain-Crawls. Aussortierte Elemente werden in eine Redis-Warteschlange verschoben, was bedeutet, dass Sie beliebig viele Nachbearbeitungsprozesse starten können, die sich die Elementwarteschlange teilen. Scheduler + Duplizierungsfilter, Item-Pipeline, Basis-Spider. Der Standard-Serialisierer für Anforderungen ist pickle, kann jedoch in jedes Modul mit Lade- und Dump-Funktionen geändert werden. Beachten Sie, dass Pickle nicht zwischen Python-Versionen kompatibel ist. In Version 0.3 wurde die Serialisierung von Anforderungen von Marshal zu cPickle geändert, sodass persistente Anforderungen mit Version 0.2 unter 0.3 nicht funktionieren können. Die Klasse scrapy_redis.spiders.RedisSpider ermöglicht es einem Spider, die URLs von Redis zu lesen. Die URLs in der Redis-Warteschlange werden nacheinander verarbeitet. Wenn die erste Anfrage weitere Anfragen hervorbringt, verarbeitet der Spider diese Anfragen, bevor er eine weitere URL von Redis abruft.
Eigenschaften
- Verteiltes Crawlen/Scraping
- Verteilte Nachbearbeitung
- Scrapy Plug-and-Play-Komponenten
- Python 2.7, 3.4 oder 3.5 erforderlich
- Redis >= 2.8 erforderlich
- Scheduler + Duplizierungsfilter, Item-Pipeline, Basis-Spider
Programmiersprache
Python
Dies ist eine Anwendung, die auch von https://sourceforge.net/projects/scrapy-redis.mirror/ abgerufen werden kann. Es wurde in OnWorks gehostet, um es auf einfachste Weise online über eines unserer kostenlosen Betriebssysteme ausführen zu können.