Si tratta dell'app Linux denominata Web Crawler Security Tool, la cui ultima versione può essere scaricata come crawler_v1.0.1.tar.gz. Può essere eseguita online sul provider di hosting gratuito OnWorks per workstation.
Scarica ed esegui online gratuitamente questa app chiamata Web Crawler Security Tool con OnWorks.
Segui queste istruzioni per eseguire questa app:
- 1. Scaricata questa applicazione sul tuo PC.
- 2. Entra nel nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 3. Carica questa applicazione in tale file manager.
- 4. Avviare l'emulatore online OnWorks Linux o Windows online o l'emulatore online MACOS da questo sito Web.
- 5. Dal sistema operativo OnWorks Linux che hai appena avviato, vai al nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 6. Scarica l'applicazione, installala ed eseguila.
IMMAGINI
Ad
Strumento di sicurezza per Web Crawler
DESCRIZIONE
Ultimo aggiornamento martedì 26 marzo 16 alle 25:2012 UTCWeb Crawler Security è uno strumento basato su Python per la scansione automatica di un sito web. Si tratta di un web crawler orientato al supporto nelle attività di penetration testing. Il compito principale di questo strumento è cercare ed elencare tutti i link (pagine e file) presenti in un sito web.
Il crawler è stato completamente riscritto nella versione 1.0, apportando numerosi miglioramenti: visualizzazione dei dati migliorata, opzione interattiva per scaricare i file, maggiore velocità di scansione, esportazione dell'elenco dei file trovati in un file separato (utile per scansionare un sito una volta, quindi scaricare i file e analizzarli con FOCA), generazione di un registro di output in Common Log Format (CLF), gestione dell'autenticazione di base e molto altro!
Molte delle vecchie funzionalità sono state reimplementate e la più interessante è la capacità del crawler di cercare l'indicizzazione delle directory.
Caratteristiche
- Scansiona siti web http e https (anche siti web che non utilizzano porte comuni). Scansiona siti web http e https (anche siti web che non utilizzano porte comuni). Scansiona siti web http e https (anche siti web che non utilizzano porte comuni).
- (novità!) Permette di determinare la profondità dello strisciamento (-C opzione)
- (novità!) Genera un riepilogo alla fine della scansione con statistiche sui risultati della scansione
- (novità!) Implementato il metodo HEAD per analizzare i tipi di file prima della scansione. Questa funzionalità migliora significativamente la velocità del crawler.
- Utilizza espressioni regolari per trovare i link 'href', 'src' e 'content'.
- Identifica i collegamenti relativi.
- Identifica i file non HTML e li mostra.
- Non eseguire la scansione di file non HTML.
- Identifica l'indicizzazione della directory.
- Esplora directory con indicizzazione (non ancora implementato nella v1.0)
- Utilizza CTRL-C per interrompere le fasi correnti del crawler e continuare a lavorare. Molto utile...
- Identifica tutti i tipi di file leggendo il campo di intestazione content-type della risposta.
- Esporta (opzione -e) in un file separato un elenco di tutti gli URL dei file trovati durante la scansione.
- Seleziona il tipo di file da scaricare (opzione -d). Es.: png,pdf,jpeg,gif o png,jpeg.
- Seleziona in modo interattivo quale tipo di file scaricare (opzione -i).
- Salva i file scaricati in una directory. Crea la directory di output solo se c'è almeno un file da scaricare.
- Genera un registro di output in formato CLF (Common Log Format) di tutte le richieste effettuate durante la scansione.
- (beta) Accedi con l'autenticazione di base. Il tuo feedback è benvenuto!
- Prova a rilevare se il sito web utilizza un CMS (come WordPress, Joomla, ecc.) (non ancora implementato nella v1.0)
- Cerca file '.bk' o '.bak' di pagine php, asp, aspx, jps. (non ancora implementato nella v1.0)
- Identifica e calcola il numero di pagine web univoche scansionate. (non ancora implementato nella versione 1.0)
- Identifica e calcola il numero di pagine web univoche scansionate che contengono parametri nell'URL. (non ancora implementato nella versione 1.0)
- Funziona su Windows, ma non ha ancora salvato i risultati
Pubblico
Information Technology
Interfaccia utente
Console/Terminale
Linguaggio di programmazione
Python
Questa applicazione può essere scaricata anche da https://sourceforge.net/projects/webcrawler-py/. È ospitata su OnWorks per poter essere eseguita online nel modo più semplice da uno dei nostri sistemi operativi gratuiti.
