Aceasta este aplicația Linux numită Web Crawler Security Tool a cărei ultimă versiune poate fi descărcată ca crawler_v1.0.1.tar.gz. Poate fi rulat online în furnizorul gratuit de găzduire OnWorks pentru stații de lucru.
Descărcați și rulați online această aplicație numită Web Crawler Security Tool cu OnWorks gratuit.
Urmați aceste instrucțiuni pentru a rula această aplicație:
- 1. Ați descărcat această aplicație pe computer.
- 2. Introduceți în managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator pe care îl doriți.
- 3. Încărcați această aplicație într-un astfel de manager de fișiere.
- 4. Porniți emulatorul online OnWorks Linux sau Windows online sau emulatorul online MACOS de pe acest site web.
- 5. Din sistemul de operare OnWorks Linux pe care tocmai l-ați pornit, accesați managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator dorit.
- 6. Descărcați aplicația, instalați-o și rulați-o.
SCREENSHOTS
Ad
Instrument de securitate web crawler
DESCRIERE
Ultima actualizare pe mar 26 mar 16:25 UTC 2012Web Crawler Security este un instrument bazat pe python pentru a accesa automat cu crawlere un site web. Este un crawler web orientat să ajute în sarcinile de testare a penetrației. Sarcina principală a acestui instrument este de a căuta și lista toate linkurile (paginile și fișierele) dintr-un site web.
Crawler-ul a fost complet rescris în v1.0, aducând o mulțime de îmbunătățiri: îmbunătățirea vizualizării datelor, opțiunea interactivă de descărcare a fișierelor, viteza crescută de accesare cu crawlere, exportă lista fișierelor găsite într-un fișier separat (util pentru a accesa cu crawlere un site o dată, apoi descărcați fișiere și analizați-le cu FOCA), generați un jurnal de ieșire în Common Log Format (CLF), gestionați autentificarea de bază și multe altele!
Multe dintre caracteristicile vechi au fost reimplementate, iar cea mai interesantă este capacitatea crawler-ului de a căuta indexarea directoarelor.
DESCRIERE
- Accesați cu crawlere site-urile web http și https (chiar și site-urile web care nu folosesc porturi comune). Accesați cu crawlere site-urile web http și https (chiar și site-urile web care nu folosesc porturi comune). Accesați cu crawlere site-urile web http și https (chiar și site-urile web care nu folosesc porturi comune).
- (nou!) Permite determinarea adâncimii târârii (-C opțiune)
- (nou!) Generează un rezumat la sfârșitul accesării cu crawlere cu statistici despre rezultatele accesării cu crawlere
- (nou!) Metoda HEAD implementată pentru analiza tipurilor de fișiere înainte de accesare cu crawlere. Această caracteristică îmbunătățește semnificativ viteza crawler-ului.
- Folosește expresii regulate pentru a găsi link-uri „href”, „src” și „conținut”.
- Identifică legături relative.
- Identifică fișierele non-html și le arată.
- Nu accesați cu crawlere fișierele non-html.
- Identifică indexarea directoarelor.
- Accesați cu crawlere directoarele cu indexare (nu este încă implementată în v1.0)
- Utilizează CTRL-C pentru a opri etapele curente ale crawlerului și pentru a continua lucrul. Lucruri foarte utile...
- Identifică toate tipurile de fișiere citind câmpul antet tip conținut al răspunsului.
- Exportă (opțiunea -e) într-un fișier separat o listă a tuturor adreselor URL ale fișierelor găsite în timpul accesării cu crawlere.
- Selectați tipul de fișiere de descărcat (opțiunea -d). Ex.: png,pdf,jpeg,gif sau png,jpeg.
- Selectați într-un mod interactiv ce tip de fișiere să descărcați (opțiunea -i).
- Salvați fișierele descărcate într-un director. Acesta creează directorul de ieșire numai dacă există cel puțin un fișier de descărcat.
- Generează un jurnal de ieșire în CLF (Common Log Format) al tuturor solicitărilor făcute în timpul crawlingului.
- (beta) Conectați-vă cu autentificare de bază. Feedback-ul este binevenit!
- Încearcă să detecteze dacă site-ul web folosește un CMS (cum ar fi wordpress, joomla etc.) (nu este încă implementat în v1.0)
- Caută fișiere „.bk” sau „.bak” ale paginilor php, asp, aspx, jps. (nu este încă implementat în v1.0)
- Identifică și calculează numărul de pagini web unice accesate cu crawlere. (nu este încă implementat în v1.0)
- Identifică și calculează numărul de pagini web unice accesate cu crawlere care conțin parametri în URL. (nu este încă implementat în v1.0)
- Funcționează în Windows, dar nu a salvat încă rezultatele
Public
Tehnologia Informației
Interfața cu utilizatorul
Consolă/Terminal
Limbaj de programare
Piton
Aceasta este o aplicație care poate fi preluată și de la https://sourceforge.net/projects/webcrawler-py/. A fost găzduit în OnWorks pentru a fi rulat online într-un mod cât mai ușor de pe unul dintre sistemele noastre operative gratuite.
