Il s'agit de l'application Linux nommée Scrapy-Redis dont la dernière version peut être téléchargée en tant que Version0.7.1Released.zip. Il peut être exécuté en ligne sur le fournisseur d'hébergement gratuit OnWorks pour les postes de travail.
Téléchargez et exécutez en ligne cette application nommée Scrapy-Redis avec OnWorks gratuitement.
Suivez ces instructions pour exécuter cette application :
- 1. Téléchargé cette application sur votre PC.
- 2. Entrez dans notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous voulez.
- 3. Téléchargez cette application dans ce gestionnaire de fichiers.
- 4. Démarrez l'émulateur en ligne OnWorks Linux ou Windows en ligne ou l'émulateur en ligne MACOS à partir de ce site Web.
- 5. Depuis le système d'exploitation OnWorks Linux que vous venez de démarrer, accédez à notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous souhaitez.
- 6. Téléchargez l'application, installez-la et exécutez-la.
CAPTURES D'ÉCRAN:
Scrapy-Redis
DESCRIPTION:
Vous pouvez démarrer plusieurs instances spider qui partagent une seule file d'attente redis. Idéal pour les explorations multi-domaines étendues. Les éléments supprimés sont placés dans une file d'attente redis, ce qui signifie que vous pouvez démarrer autant de processus de post-traitement que nécessaire en partageant la file d'attente des éléments. Planificateur + filtre de duplication, pipeline d'articles, araignées de base. Le sérialiseur de requêtes par défaut est pickle, mais il peut être remplacé par n'importe quel module avec des fonctions de chargement et de vidage. Notez que pickle n'est pas compatible entre les versions de python. La version 0.3 a changé la sérialisation des requêtes de marshal à cPickle, donc les requêtes persistantes utilisant la version 0.2 ne pourront pas fonctionner sur 0.3. La classe scrapy_redis.spiders.RedisSpider permet à une araignée de lire les URL de redis. Les URL de la file d'attente redis seront traitées les unes après les autres, si la première requête génère plus de requêtes, l'araignée traitera ces requêtes avant de récupérer une autre URL à partir de redis.
Features
- Ramper/racler distribué
- Post-traitement distribué
- Composants plug-and-play craquants
- Python 2.7, 3.4 ou 3.5 requis
- Redis >= 2.8 requis
- Planificateur + filtre de duplication, pipeline d'articles, araignées de base
Langage de programmation
Python
Il s'agit d'une application qui peut également être récupérée à partir de https://sourceforge.net/projects/scrapy-redis.mirror/. Il a été hébergé dans OnWorks afin d'être exécuté en ligne de la manière la plus simple à partir de l'un de nos systèmes d'exploitation gratuits.