Este é o aplicativo do Windows chamado Scrapy-Redis, cuja versão mais recente pode ser baixada como Version0.7.1Released.zip. Ele pode ser executado online no provedor de hospedagem gratuita OnWorks para estações de trabalho.
Baixe e execute online este aplicativo chamado Scrapy-Redis com OnWorks gratuitamente.
Siga estas instruções para executar este aplicativo:
- 1. Baixe este aplicativo em seu PC.
- 2. Entre em nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que você deseja.
- 3. Carregue este aplicativo em tal gerenciador de arquivos.
- 4. Inicie qualquer emulador on-line OS OnWorks a partir deste site, mas um emulador on-line melhor do Windows.
- 5. No sistema operacional OnWorks Windows que você acabou de iniciar, acesse nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que deseja.
- 6. Baixe o aplicativo e instale-o.
- 7. Baixe o Wine de seus repositórios de software de distribuição Linux. Depois de instalado, você pode clicar duas vezes no aplicativo para executá-lo com o Wine. Você também pode experimentar o PlayOnLinux, uma interface sofisticada do Wine que o ajudará a instalar programas e jogos populares do Windows.
Wine é uma forma de executar software Windows no Linux, mas sem a necessidade de Windows. Wine é uma camada de compatibilidade do Windows de código aberto que pode executar programas do Windows diretamente em qualquer desktop Linux. Essencialmente, o Wine está tentando reimplementar o suficiente do Windows do zero para que possa executar todos os aplicativos do Windows sem realmente precisar do Windows.
CAPTURAS DE TELA:
Scrapy-RedisName
DESCRIÇÃO:
Você pode iniciar várias instâncias do spider que compartilham uma única fila redis. Mais adequado para rastreamentos amplos de vários domínios. Os itens raspados são colocados em uma nova fila, o que significa que você pode iniciar quantos processos de pós-processamento forem necessários, compartilhando a fila de itens. Agendador + Filtro de duplicação, Pipeline de itens, Spiders de base. O serializador de solicitações padrão é pickle, mas pode ser alterado para qualquer módulo com funções de cargas e despejos. Observe que pickle não é compatível entre as versões de python. A versão 0.3 mudou a serialização das solicitações de marshal para cPickle, portanto, as solicitações persistentes que usam a versão 0.2 não funcionarão na 0.3. A classe scrapy_redis.spiders.RedisSpider permite que um spider leia os urls do redis. Os urls na fila do redis serão processados um após o outro. Se a primeira solicitação gerar mais solicitações, o spider processará essas solicitações antes de buscar outro url no redis.
Funcionalidades
- Rastreamento distribuído / raspagem
- Pós-processamento distribuído
- Componentes plug-and-play scrapy
- Python 2.7, 3.4 ou 3.5 necessário
- Redis> = 2.8 necessário
- Agendador + filtro de duplicação, pipeline de itens, spiders de base
Linguagem de Programação
Python
Este é um aplicativo que também pode ser obtido em https://sourceforge.net/projects/scrapy-redis.mirror/. Ele foi hospedado no OnWorks para ser executado online da maneira mais fácil a partir de um de nossos Sistemas Operativos gratuitos.