Este é o aplicativo Linux denominado Web Crawler Security Tool, cuja versão mais recente pode ser baixada como crawler_v1.0.1.tar.gz. Ele pode ser executado online no provedor de hospedagem gratuita OnWorks para estações de trabalho.
Baixe e execute online este aplicativo chamado Web Crawler Security Tool com OnWorks gratuitamente.
Siga estas instruções para executar este aplicativo:
- 1. Baixe este aplicativo em seu PC.
- 2. Entre em nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que você deseja.
- 3. Carregue este aplicativo em tal gerenciador de arquivos.
- 4. Inicie o emulador OnWorks Linux online ou Windows online ou emulador MACOS online a partir deste site.
- 5. No sistema operacional OnWorks Linux que você acabou de iniciar, acesse nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que deseja.
- 6. Baixe o aplicativo, instale-o e execute-o.
SCREENSHOTS
Ad
Ferramenta de segurança do rastreador da web
DESCRIÇÃO
Última atualização em terça-feira, 26 de março, 16:25 UTC de 2012O Web Crawler Security é uma ferramenta baseada em python para rastrear automaticamente um site. É um web crawler orientado para ajudar nas tarefas de teste de penetração. A principal tarefa desta ferramenta é pesquisar e listar todos os links (páginas e arquivos) em um site.
O crawler foi totalmente reescrito na v1.0 trazendo uma série de melhorias: melhorou a visualização de dados, opção interativa para baixar arquivos, maior velocidade de rastreamento, lista de exportação de arquivos encontrados em um arquivo separado (útil para rastrear um site uma vez, então baixe arquivos e analise-os com FOCA), gere um registro de saída em Common Log Format (CLF), gerencie a autenticação básica e muito mais!
Muitos dos recursos antigos foram reimplementados e o mais interessante é a capacidade do rastreador de pesquisar indexação de diretório.
Recursos
- Rastreie sites http e https (mesmo sites que não usem portas comuns). Rastreie sites http e https (mesmo sites que não usem portas comuns). Rastreie sites http e https (mesmo sites que não usem portas comuns).
- (novo!) Permite determinar a profundidade do rastreamento (-C opção)
- (novo!) Gera um resumo no final do rastreamento com estatísticas sobre os resultados do rastreamento
- (novo!) Método HEAD implementado para analisar tipos de arquivo antes do rastreamento. Esse recurso melhora significativamente a velocidade do rastreador.
- Usa expressões regulares para encontrar links 'href', 'src' e 'conteúdo'.
- Identifica links relativos.
- Identifica arquivos não-html e os mostra.
- Não rastrear arquivos não HTML.
- Identifica a indexação de diretório.
- Rastrear diretórios com indexação (ainda não implementado na v1.0)
- Usa CTRL-C para interromper os estágios atuais do rastreador e continuar trabalhando. Coisas muito úteis ...
- Identifica todos os tipos de arquivos lendo o campo de cabeçalho de tipo de conteúdo da resposta.
- Exporta (opção -e) em um arquivo separado uma lista de todos os URLs de arquivos encontrados durante o rastreamento.
- Selecione o tipo de arquivo para baixar (opção -d). Ex: png, pdf, jpeg, gif ou png, jpeg.
- Selecione de forma interativa o tipo de arquivo a ser baixado (opção -i).
- Salve os arquivos baixados em um diretório. Ele apenas cria o diretório de saída se houver pelo menos um arquivo para fazer o download.
- Gera um log de saída em CLF (Common Log Format) de todas as solicitações feitas durante o crawling.
- (beta) Login com autenticação básica. O feedback é bem-vindo!
- Tenta detectar se o site usa um CMS (como wordpress, joomla, etc) (ainda não implementado na v1.0)
- Ele procura por arquivos '.bk' ou '.bak' de páginas php, asp, aspx, jps. (ainda não implementado na v1.0)
- Ele identifica e calcula o número de páginas da web exclusivas rastreadas. (ainda não implementado na v1.0)
- Ele identifica e calcula o número de páginas da web exclusivas rastreadas que contêm parâmetros em URL. (ainda não implementado na v1.0)
- Funciona no Windows, mas ainda não salvou os resultados
Público
Tecnologia da Informação
Interface com o usuário
Console / Terminal
Linguagem de Programação
Python
Este é um aplicativo que também pode ser obtido em https://sourceforge.net/projects/webcrawler-py/. Ele foi hospedado no OnWorks para ser executado online da maneira mais fácil a partir de um de nossos Sistemas Operativos gratuitos.
