Esta es la aplicación de Windows llamada Scrapy-Redis cuya última versión se puede descargar como Version0.7.1Released.zip. Se puede ejecutar en línea en el proveedor de alojamiento gratuito OnWorks para estaciones de trabajo.
Descargue y ejecute en línea esta aplicación llamada Scrapy-Redis con OnWorks de forma gratuita.
Siga estas instrucciones para ejecutar esta aplicación:
- 1. Descargue esta aplicación en su PC.
- 2. Ingrese en nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 3. Cargue esta aplicación en dicho administrador de archivos.
- 4. Inicie cualquier emulador en línea de OS OnWorks desde este sitio web, pero mejor emulador en línea de Windows.
- 5. Desde el sistema operativo OnWorks Windows que acaba de iniciar, vaya a nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 6. Descarga la aplicación e instálala.
- 7. Descargue Wine desde los repositorios de software de sus distribuciones de Linux. Una vez instalada, puede hacer doble clic en la aplicación para ejecutarla con Wine. También puedes probar PlayOnLinux, una elegante interfaz sobre Wine que te ayudará a instalar programas y juegos populares de Windows.
Wine es una forma de ejecutar software de Windows en Linux, pero no requiere Windows. Wine es una capa de compatibilidad de Windows de código abierto que puede ejecutar programas de Windows directamente en cualquier escritorio de Linux. Esencialmente, Wine está tratando de volver a implementar una cantidad suficiente de Windows desde cero para poder ejecutar todas esas aplicaciones de Windows sin necesidad de Windows.
SCREENSHOTS
Ad
Scrapy-Redis
DESCRIPCIÓN
Puede iniciar varias instancias de araña que comparten una única cola de redis. Más adecuado para rastreos amplios de varios dominios. Los elementos raspados se colocan en una cola de redis, lo que significa que puede iniciar tantos procesos de posprocesamiento como sea necesario compartiendo la cola de elementos. Programador + Filtro de duplicación, canalización de elementos, arañas base. El serializador de solicitudes predeterminado es pickle, pero se puede cambiar a cualquier módulo con funciones de carga y volcado. Tenga en cuenta que pickle no es compatible entre las versiones de Python. La versión 0.3 cambió la serialización de solicitudes de marshal a cPickle, por lo tanto, las solicitudes persistentes que usen la versión 0.2 no podrán funcionar en 0.3. La clase scrapy_redis.spiders.RedisSpider permite que una araña lea las URL de redis. Las URL en la cola de redis se procesarán una tras otra, si la primera solicitud genera más solicitudes, la araña procesará esas solicitudes antes de obtener otra URL de redis.
Caracteristicas
- Rastreo / raspado distribuido
- Postprocesamiento distribuido
- Componentes plug-and-play de Scrapy
- Se requiere Python 2.7, 3.4 o 3.5
- Redis> = 2.8 requerido
- Programador + filtro de duplicación, canalización de artículos, arañas base
Lenguaje de programación
Python
Esta es una aplicación que también se puede obtener de https://sourceforge.net/projects/scrapy-redis.mirror/. Se ha alojado en OnWorks para poder ejecutarlo online de la forma más sencilla desde uno de nuestros Sistemas Operativos gratuitos.