Aceasta este aplicația Linux numită crawler4j a cărei ultimă versiune poate fi descărcată ca 4.4.0.zip. Poate fi rulat online în furnizorul de găzduire gratuit OnWorks pentru stații de lucru.
Descărcați și rulați online această aplicație numită crawler4j cu OnWorks gratuit.
Urmați aceste instrucțiuni pentru a rula această aplicație:
- 1. Ați descărcat această aplicație pe computer.
- 2. Introduceți în managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator pe care îl doriți.
- 3. Încărcați această aplicație într-un astfel de manager de fișiere.
- 4. Porniți emulatorul online OnWorks Linux sau Windows online sau emulatorul online MACOS de pe acest site web.
- 5. Din sistemul de operare OnWorks Linux pe care tocmai l-ați pornit, accesați managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator dorit.
- 6. Descărcați aplicația, instalați-o și rulați-o.
SCREENSHOTS
Ad
crawler4j
DESCRIERE
crawler4j este un crawler web open source pentru Java, care oferă o interfață simplă pentru accesarea cu crawlere pe Web. Folosind-o, puteți configura un crawler web cu mai multe fire în câteva minute. Trebuie să creați o clasă de crawler care extinde WebCrawler. Această clasă decide ce adrese URL trebuie accesate cu crawlere și se ocupă de pagina descărcată. Funcția shouldVisit decide dacă adresa URL dată trebuie accesată cu crawlere sau nu. În exemplul de mai sus, acest exemplu nu permite fișiere .css, .js și media și permite numai pagini din domeniul ics. funcția de vizitare este apelată după ce conținutul unei adrese URL este descărcat cu succes. Puteți obține cu ușurință adresa URL, textul, linkurile, html și id-ul unic al paginii descărcate. De asemenea, ar trebui să implementați o clasă de controler care specifică semințele accesării cu crawlere, folderul în care ar trebui să fie stocate datele intermediare de accesare cu crawlere și numărul de fire concurente.
Categorii
- De asemenea, ar trebui să implementați o clasă de controler care specifică semințele accesării cu crawlere, folderul în care ar trebui să fie stocate datele intermediare de accesare cu crawlere și numărul de fire concurente:
- În mod implicit, nu există nicio limită pentru adâncimea de crawling
- Puteți activa SSL
- Activați accesarea cu crawlere a conținutului binar
- crawler4j este proiectat foarte eficient și are capacitatea de a accesa cu crawlere domenii foarte rapid
- Șirul user-agent este folosit pentru a reprezenta crawler-ul dvs. pe serverele web
Limbaj de programare
Java
Categorii
Aceasta este o aplicație care poate fi preluată și de la https://sourceforge.net/projects/crawler4j.mirror/. Acesta a fost găzduit în OnWorks pentru a fi rulat online în cel mai simplu mod de la unul dintre sistemele noastre operative gratuite.
