Este é o aplicativo do Windows chamado Scrapy-Redis, cuja versão mais recente pode ser baixada como Version0.7.1Released.zip. Ele pode ser executado online no provedor de hospedagem gratuita OnWorks para estações de trabalho.
Baixe e execute online este aplicativo chamado Scrapy-Redis com OnWorks gratuitamente.
Siga estas instruções para executar este aplicativo:
- 1. Baixe este aplicativo em seu PC.
- 2. Entre em nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que você deseja.
- 3. Carregue este aplicativo em tal gerenciador de arquivos.
- 4. Inicie qualquer emulador on-line OS OnWorks a partir deste site, mas um emulador on-line melhor do Windows.
- 5. No sistema operacional OnWorks Windows que você acabou de iniciar, acesse nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que deseja.
- 6. Baixe o aplicativo e instale-o.
- 7. Baixe o Wine de seus repositórios de software de distribuição Linux. Depois de instalado, você pode clicar duas vezes no aplicativo para executá-lo com o Wine. Você também pode experimentar o PlayOnLinux, uma interface sofisticada do Wine que o ajudará a instalar programas e jogos populares do Windows.
Wine é uma forma de executar software Windows no Linux, mas sem a necessidade de Windows. Wine é uma camada de compatibilidade do Windows de código aberto que pode executar programas do Windows diretamente em qualquer desktop Linux. Essencialmente, o Wine está tentando reimplementar o suficiente do Windows do zero para que possa executar todos os aplicativos do Windows sem realmente precisar do Windows.
SCREENSHOTS
Ad
Scrapy-RedisName
DESCRIÇÃO
Você pode iniciar várias instâncias do spider que compartilham uma única fila redis. Mais adequado para rastreamentos amplos de vários domínios. Os itens raspados são colocados em uma nova fila, o que significa que você pode iniciar quantos processos de pós-processamento forem necessários, compartilhando a fila de itens. Agendador + Filtro de duplicação, Pipeline de itens, Spiders de base. O serializador de solicitações padrão é pickle, mas pode ser alterado para qualquer módulo com funções de cargas e despejos. Observe que pickle não é compatível entre as versões de python. A versão 0.3 mudou a serialização das solicitações de marshal para cPickle, portanto, as solicitações persistentes que usam a versão 0.2 não funcionarão na 0.3. A classe scrapy_redis.spiders.RedisSpider permite que um spider leia os urls do redis. Os urls na fila do redis serão processados um após o outro. Se a primeira solicitação gerar mais solicitações, o spider processará essas solicitações antes de buscar outro url no redis.
Recursos
- Rastreamento distribuído / raspagem
- Pós-processamento distribuído
- Componentes plug-and-play scrapy
- Python 2.7, 3.4 ou 3.5 necessário
- Redis> = 2.8 necessário
- Agendador + filtro de duplicação, pipeline de itens, spiders de base
Linguagem de Programação
Python
Este é um aplicativo que também pode ser obtido em https://sourceforge.net/projects/scrapy-redis.mirror/. Ele foi hospedado no OnWorks para ser executado online da maneira mais fácil a partir de um de nossos Sistemas Operativos gratuitos.
