Il s'agit de l'application Windows nommée Scrapy-Redis dont la dernière version peut être téléchargée en tant que Version0.7.1Released.zip. Il peut être exécuté en ligne sur le fournisseur d'hébergement gratuit OnWorks pour les postes de travail.
Téléchargez et exécutez en ligne cette application nommée Scrapy-Redis avec OnWorks gratuitement.
Suivez ces instructions pour exécuter cette application :
- 1. Téléchargé cette application sur votre PC.
- 2. Entrez dans notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous voulez.
- 3. Téléchargez cette application dans ce gestionnaire de fichiers.
- 4. Démarrez n'importe quel émulateur en ligne OS OnWorks à partir de ce site Web, mais un meilleur émulateur en ligne Windows.
- 5. Depuis le système d'exploitation OnWorks Windows que vous venez de démarrer, accédez à notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous souhaitez.
- 6. Téléchargez l'application et installez-la.
- 7. Téléchargez Wine depuis les dépôts de logiciels de vos distributions Linux. Une fois installé, vous pouvez ensuite double-cliquer sur l'application pour les exécuter avec Wine. Vous pouvez également essayer PlayOnLinux, une interface sophistiquée sur Wine qui vous aidera à installer des programmes et des jeux Windows populaires.
Wine est un moyen d'exécuter un logiciel Windows sur Linux, mais sans Windows requis. Wine est une couche de compatibilité Windows open source qui peut exécuter des programmes Windows directement sur n'importe quel bureau Linux. Essentiellement, Wine essaie de ré-implémenter suffisamment de Windows à partir de zéro pour qu'il puisse exécuter toutes ces applications Windows sans avoir réellement besoin de Windows.
CAPTURES D'ÉCRAN:
Scrapy-Redis
DESCRIPTION:
Vous pouvez démarrer plusieurs instances spider qui partagent une seule file d'attente redis. Idéal pour les explorations multi-domaines étendues. Les éléments supprimés sont placés dans une file d'attente redis, ce qui signifie que vous pouvez démarrer autant de processus de post-traitement que nécessaire en partageant la file d'attente des éléments. Planificateur + filtre de duplication, pipeline d'articles, araignées de base. Le sérialiseur de requêtes par défaut est pickle, mais il peut être remplacé par n'importe quel module avec des fonctions de chargement et de vidage. Notez que pickle n'est pas compatible entre les versions de python. La version 0.3 a changé la sérialisation des requêtes de marshal à cPickle, donc les requêtes persistantes utilisant la version 0.2 ne pourront pas fonctionner sur 0.3. La classe scrapy_redis.spiders.RedisSpider permet à une araignée de lire les URL de redis. Les URL de la file d'attente redis seront traitées les unes après les autres, si la première requête génère plus de requêtes, l'araignée traitera ces requêtes avant de récupérer une autre URL à partir de redis.
Fonctionnalités:
- Ramper/racler distribué
- Post-traitement distribué
- Composants plug-and-play craquants
- Python 2.7, 3.4 ou 3.5 requis
- Redis >= 2.8 requis
- Planificateur + filtre de duplication, pipeline d'articles, araignées de base
Langage de programmation
Python
Il s'agit d'une application qui peut également être récupérée à partir de https://sourceforge.net/projects/scrapy-redis.mirror/. Il a été hébergé dans OnWorks afin d'être exécuté en ligne de la manière la plus simple à partir de l'un de nos systèmes d'exploitation gratuits.