Il s'agit de l'application Windows nommée pyspider dont la dernière version peut être téléchargée en tant que v0.3.10.zip. Il peut être exécuté en ligne sur le fournisseur d'hébergement gratuit OnWorks pour les postes de travail.
Téléchargez et exécutez en ligne cette application nommée pyspider avec OnWorks gratuitement.
Suivez ces instructions pour exécuter cette application :
- 1. Téléchargé cette application sur votre PC.
- 2. Entrez dans notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous voulez.
- 3. Téléchargez cette application dans ce gestionnaire de fichiers.
- 4. Démarrez n'importe quel émulateur en ligne OS OnWorks à partir de ce site Web, mais un meilleur émulateur en ligne Windows.
- 5. Depuis le système d'exploitation OnWorks Windows que vous venez de démarrer, accédez à notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous souhaitez.
- 6. Téléchargez l'application et installez-la.
- 7. Téléchargez Wine depuis les dépôts de logiciels de vos distributions Linux. Une fois installé, vous pouvez ensuite double-cliquer sur l'application pour les exécuter avec Wine. Vous pouvez également essayer PlayOnLinux, une interface sophistiquée sur Wine qui vous aidera à installer des programmes et des jeux Windows populaires.
Wine est un moyen d'exécuter un logiciel Windows sur Linux, mais sans Windows requis. Wine est une couche de compatibilité Windows open source qui peut exécuter des programmes Windows directement sur n'importe quel bureau Linux. Essentiellement, Wine essaie de ré-implémenter suffisamment de Windows à partir de zéro pour qu'il puisse exécuter toutes ces applications Windows sans avoir réellement besoin de Windows.
CAPTURES D'ÉCRAN
Ad
pyaraignée
DESCRIPTION
pyspider est un puissant système Spider (Web Crawler) en Python. Les composants sont connectés par file d'attente de messages. Chaque composant, y compris la file d'attente de messages, s'exécute dans son propre processus/thread et est remplaçable. Cela signifie que lorsque le processus est lent, vous pouvez avoir de nombreuses instances de processeur et utiliser pleinement plusieurs processeurs, ou déployer sur plusieurs machines. Cette architecture rend pyspider très rapide. benchmarking. Étant donné que pyspider comporte divers composants, vous pouvez simplement exécuter pyspider pour démarrer une instance autonome et sans service. Ou en utilisant MySQL ou MongoDB et RabbitMQ pour déployer un cluster d'analyse distribué. Pour déployer pyspider dans l'environnement du produit, l'exécution du composant dans chaque processus et le stockage des données dans le service de base de données sont plus fiables et flexibles. Pour déployer des composants pyspider dans chaque processus, vous avez besoin d'au moins un service de base de données. pyspider prend désormais en charge MySQL, MongoDB et PostgreSQL. Vous pouvez en choisir un.
Comment ça marche
- Écrire un script en Python
- Interface Web puissante avec éditeur de script, moniteur de tâches, gestionnaire de projet et visionneuse de résultats
- MySQL, MongoDB, Redis, SQLite, Elasticsearch ; PostgreSQL avec SQLAlchemy comme backend de base de données
- RabbitMQ, Beanstalk, Redis et Kombu comme file d'attente de messages
- Priorité des tâches, nouvelle tentative, périodique, réexploration par âge, etc.
- Architecture distribuée, Crawl pages Javascript, Python 2&3, etc.
Langage de programmation
Python
Catégories
Il s'agit d'une application qui peut également être récupérée à partir de https://sourceforge.net/projects/pyspider.mirror/. Il a été hébergé dans OnWorks afin d'être exécuté en ligne de la manière la plus simple à partir de l'un de nos systèmes d'exploitation gratuits.
