Questa è l'app di Windows denominata Scrapy-Redis la cui ultima versione può essere scaricata come Version0.7.1Released.zip. Può essere eseguito online nel provider di hosting gratuito OnWorks per workstation.
Scarica ed esegui online questa app chiamata Scrapy-Redis con OnWorks gratuitamente.
Segui queste istruzioni per eseguire questa app:
- 1. Scaricata questa applicazione sul tuo PC.
- 2. Entra nel nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 3. Carica questa applicazione in tale file manager.
- 4. Avvia qualsiasi emulatore online OS OnWorks da questo sito Web, ma migliore emulatore online Windows.
- 5. Dal sistema operativo OnWorks Windows che hai appena avviato, vai al nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 6. Scarica l'applicazione e installala.
- 7. Scarica Wine dai repository software delle tue distribuzioni Linux. Una volta installato, puoi quindi fare doppio clic sull'app per eseguirli con Wine. Puoi anche provare PlayOnLinux, un'interfaccia fantasiosa su Wine che ti aiuterà a installare programmi e giochi Windows popolari.
Wine è un modo per eseguire il software Windows su Linux, ma senza Windows richiesto. Wine è un livello di compatibilità Windows open source in grado di eseguire programmi Windows direttamente su qualsiasi desktop Linux. Essenzialmente, Wine sta cercando di re-implementare abbastanza Windows da zero in modo che possa eseguire tutte quelle applicazioni Windows senza effettivamente bisogno di Windows.
IMMAGINI:
Scrapy-Redis
DESCRIZIONE:
Puoi avviare più istanze di spider che condividono un'unica coda redis. Ideale per scansioni multidominio di grandi dimensioni. Gli elementi scartati vengono inseriti in una coda redis, il che significa che è possibile avviare tutti i processi di post-elaborazione necessari condividendo la coda degli elementi. Scheduler + filtro di duplicazione, pipeline di articoli, spider di base. Il serializzatore di richieste predefinito è pickle, ma può essere modificato in qualsiasi modulo con funzioni di caricamento e scaricamento. Nota che pickle non è compatibile tra le versioni di Python. La versione 0.3 ha modificato la serializzazione delle richieste da marshal a cPickle, pertanto le richieste persistenti che utilizzano la versione 0.2 non potranno funzionare su 0.3. La classe scrapy_redis.spiders.RedisSpider consente a uno spider di leggere gli URL da redis. Gli URL nella coda redis verranno elaborati uno dopo l'altro, se la prima richiesta produce più richieste, lo spider elaborerà tali richieste prima di recuperare un altro URL da redis.
Caratteristiche
- Scansione/raschiatura distribuita
- Post-elaborazione distribuita
- Componenti plug-and-play scadenti
- Python 2.7, 3.4 o 3.5 richiesto
- Redis >= 2.8 richiesto
- Pianificatore + Filtro di duplicazione, Pipeline di articoli, Spider di base
Linguaggio di programmazione
Python
Questa è un'applicazione che può anche essere scaricata da https://sourceforge.net/projects/scrapy-redis.mirror/. È stato ospitato in OnWorks per essere eseguito online in modo più semplice da uno dei nostri sistemi operativi gratuiti.