ນີ້ແມ່ນແອັບ Linux ທີ່ມີຊື່ວ່າ crwlr ເຊິ່ງລຸ້ນຫຼ້າສຸດສາມາດດາວໂຫຼດໄດ້ເປັນ v1.2.2.zip. ມັນສາມາດດໍາເນີນການອອນໄລນ໌ຢູ່ໃນຜູ້ໃຫ້ບໍລິການໂຮດຕິ້ງຟຣີ OnWorks ສໍາລັບສະຖານີບ່ອນເຮັດວຽກ.
ດາວນ໌ໂຫລດແລະດໍາເນີນການອອນໄລນ໌ app ນີ້ມີຊື່ crwlr ກັບ OnWorks ໄດ້ຟຣີ.
ປະຕິບັດຕາມຄໍາແນະນໍາເຫຼົ່ານີ້ເພື່ອດໍາເນີນການ app ນີ້:
- 1. ດາວໂຫຼດຄໍາຮ້ອງສະຫມັກນີ້ໃນ PC ຂອງທ່ານ.
- 2. ໃສ່ໃນຕົວຈັດການໄຟລ໌ຂອງພວກເຮົາ https://www.onworks.net/myfiles.php?username=XXXXX ດ້ວຍຊື່ຜູ້ໃຊ້ທີ່ທ່ານຕ້ອງການ.
- 3. ອັບໂຫລດແອັບພລິເຄຊັນນີ້ຢູ່ໃນຕົວຈັດການໄຟລ໌ດັ່ງກ່າວ.
- 4. ເລີ່ມ OnWorks Linux ອອນລາຍ ຫຼື Windows online emulator ຫຼື MACOS online emulator ຈາກເວັບໄຊທ໌ນີ້.
- 5. ຈາກ OnWorks Linux OS ທີ່ເຈົ້າຫາກໍ່ເລີ່ມຕົ້ນ, ໄປທີ່ຕົວຈັດການໄຟລ໌ຂອງພວກເຮົາ https://www.onworks.net/myfiles.php?username=XXXXX ດ້ວຍຊື່ຜູ້ໃຊ້ທີ່ທ່ານຕ້ອງການ.
- 6. ດາວນ໌ໂຫລດຄໍາຮ້ອງສະຫມັກ, ຕິດຕັ້ງມັນແລະດໍາເນີນການ.
ໜ້າ ຈໍ
Ad
crwlr
ລາຍລະອຽດ
ຫໍສະຫມຸດນີ້ສະຫນອງປະເພດຂອງກອບແລະຫຼາຍພ້ອມທີ່ຈະນໍາໃຊ້, ອັນທີ່ເອີ້ນວ່າຂັ້ນຕອນ, ທີ່ທ່ານສາມາດນໍາໃຊ້ເປັນຕັນການກໍ່ສ້າງ, ການກໍ່ສ້າງຕົວກວາດເວັບແລະ scrapers ຂອງທ່ານເອງກັບ. ກ່ອນທີ່ຈະເຂົ້າໄປໃນຫ້ອງສະຫມຸດ, ໃຫ້ພວກເຮົາເບິ່ງຂໍ້ກໍານົດການກວາດແລະຂູດ. ສຳລັບກໍລະນີການນຳໃຊ້ໃນໂລກທີ່ແທ້ຈິງສ່ວນໃຫຍ່, ສອງສິ່ງເຫຼົ່ານັ້ນເຂົ້າກັນຢູ່ໃນມື, ເຊິ່ງເປັນເຫດໃຫ້ຫ້ອງສະໝຸດນີ້ຊ່ວຍແລະລວມທັງສອງຢ່າງ. A (web) ຕົວກວາດເວັບແມ່ນໂຄງການທີ່ (ລົງ) ໂຫຼດເອກະສານແລະຕິດຕາມການເຊື່ອມຕໍ່ໃນມັນເພື່ອໂຫລດພວກມັນເຊັ່ນກັນ. ຕົວກວາດເວັບສາມາດໂຫຼດໄດ້ທຸກລິ້ງທີ່ມັນຊອກຫາ (ແລະຖືກອະນຸຍາດໃຫ້ໂຫລດຕາມໄຟລ໌ robots.txt), ຫຼັງຈາກນັ້ນມັນຈະໂຫຼດອິນເຕີເນັດທັງໝົດ (ຖ້າ URL ທີ່ມັນເລີ່ມຕົ້ນດ້ວຍບໍ່ມີຈຸດຈົບ). ຫຼືມັນສາມາດຖືກຈໍາກັດການໂຫຼດພຽງແຕ່ການເຊື່ອມຕໍ່ທີ່ກົງກັບເງື່ອນໄຂທີ່ແນ່ນອນ (ຢູ່ໃນໂດເມນ / ເຈົ້າພາບດຽວກັນ, ເສັ້ນທາງ URL ເລີ່ມຕົ້ນດ້ວຍ "/foo", ...) ຫຼືພຽງແຕ່ຄວາມເລິກທີ່ແນ່ນອນ. ຄວາມເລິກຂອງ 3 ຫມາຍຄວາມວ່າ 3 ລະດັບເລິກ. ການເຊື່ອມຕໍ່ທີ່ພົບເຫັນຢູ່ໃນ URL ເບື້ອງຕົ້ນທີ່ສະຫນອງໃຫ້ຕົວກວາດເວັບແມ່ນລະດັບ 1 ແລະອື່ນໆ.
ຄຸນລັກສະນະ
- ຄວາມສຸພາບຂອງຕົວກວາດເວັບ (ເຄົາລົບ robots.txt, throttling,...)
- ໄດ້ຮັບການເຊື່ອມຕໍ່ຢ່າງແທ້ຈິງຈາກເອກະສານ HTML
- ເອົາແຜນຜັງເວັບໄຊທ໌ຈາກ robots.txt ແລະເອົາທຸກ URL ຈາກແຜນຜັງເວັບໄຊທ໌ເຫຼົ່ານັ້ນ
- ລວບລວມຂໍ້ມູນ (ໂຫຼດ) ທຸກຫນ້າຂອງເວັບໄຊທ໌
- ໃຊ້ວິທີການ HTTP ໃດໆກໍຕາມ (GET, POST,...) ແລະສົ່ງສ່ວນຫົວ ຫຼືເນື້ອໃນ
- ຕື່ມຂໍ້ມູນໃສ່ໜ້າລາຍຊື່ທີ່ຕັ້ງໄວ້
ພາສາການຂຽນໂປຣແກຣມ
PHP
ປະເພດ
ນີ້ແມ່ນແອັບພລິເຄຊັນທີ່ຍັງສາມາດເອົາມາຈາກ https://sourceforge.net/projects/crwlr.mirror/. ມັນໄດ້ຖືກຈັດຢູ່ໃນ OnWorks ເພື່ອໃຫ້ດໍາເນີນການອອນໄລນ໌ດ້ວຍວິທີທີ່ງ່າຍທີ່ສຸດຈາກຫນຶ່ງໃນລະບົບປະຕິບັດງານຟຣີຂອງພວກເຮົາ.
