Dit is de Windows-app genaamd Scrapy-Redis waarvan de nieuwste release kan worden gedownload als Version0.7.1Released.zip. Het kan online worden uitgevoerd in de gratis hostingprovider OnWorks voor werkstations.
Download en gebruik deze app genaamd Scrapy-Redis met OnWorks gratis online.
Volg deze instructies om deze app uit te voeren:
- 1. Download deze applicatie op uw pc.
- 2. Voer in onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX in met de gebruikersnaam die u wilt.
- 3. Upload deze applicatie in zo'n bestandsbeheerder.
- 4. Start een OS OnWorks online emulator vanaf deze website, maar een betere Windows online emulator.
- 5. Ga vanuit het OnWorks Windows-besturingssysteem dat u zojuist hebt gestart naar onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX met de gewenste gebruikersnaam.
- 6. Download de applicatie en installeer deze.
- 7. Download Wine van de softwarebronnen voor Linux-distributies. Eenmaal geïnstalleerd, kunt u vervolgens dubbelklikken op de app om ze met Wine uit te voeren. Je kunt ook PlayOnLinux proberen, een mooie interface via Wine waarmee je populaire Windows-programma's en -games kunt installeren.
Wine is een manier om Windows-software op Linux uit te voeren, maar zonder dat Windows vereist is. Wine is een open-source Windows-compatibiliteitslaag die Windows-programma's rechtstreeks op elke Linux-desktop kan uitvoeren. In wezen probeert Wine genoeg van Windows opnieuw te implementeren, zodat het al die Windows-applicaties kan draaien zonder Windows echt nodig te hebben.
SCHERMSCHERMEN:
Scrapy-Redis
BESCHRIJVING:
U kunt meerdere spider-instanties starten die een enkele redis-wachtrij delen. Het meest geschikt voor brede crawls van meerdere domeinen. Geschraapte items worden in een redis-wachtrij geduwd, wat betekent dat u zoveel als nodig naverwerkingsprocessen kunt starten die de itemswachtrij delen. Planner + duplicatiefilter, itempijplijn, basisspiders. Standaard verzoeken serializer is augurk, maar het kan worden gewijzigd in elke module met laad- en dumpfuncties. Merk op dat augurk niet compatibel is tussen python-versies. Versie 0.3 heeft de serialisatie van verzoeken gewijzigd van marshal naar cPickle, daarom zullen aanhoudende verzoeken die versie 0.2 gebruiken niet werken op 0.3. De klasse scrapy_redis.spiders.RedisSpider stelt een spider in staat de url's van redis te lezen. De urls in de redis-wachtrij worden één voor één verwerkt, als het eerste verzoek meer verzoeken oplevert, zal de spider die verzoeken verwerken voordat een andere url van redis wordt opgehaald.
Voordelen
- Gedistribueerd kruipen/schrapen
- Gedistribueerde nabewerking
- Scrapy plug-and-play componenten
- Python 2.7, 3.4 of 3.5 vereist
- Redis >= 2.8 vereist
- Planner + duplicatiefilter, itempijplijn, basisspiders
Programmeertaal
Python
Dit is een applicatie die ook kan worden opgehaald van https://sourceforge.net/projects/scrapy-redis.mirror/. Het is gehost in OnWorks om op een gemakkelijkste manier online te kunnen worden uitgevoerd vanuit een van onze gratis besturingssystemen.