Ini ialah apl Linux bernama crwlr yang keluaran terbarunya boleh dimuat turun sebagai v1.2.2.zip. Ia boleh dijalankan dalam talian dalam penyedia pengehosan percuma OnWorks untuk stesen kerja.
Muat turun dan jalankan dalam talian aplikasi bernama crwlr ini dengan OnWorks secara percuma.
Ikut arahan ini untuk menjalankan apl ini:
- 1. Memuat turun aplikasi ini dalam PC anda.
- 2. Masukkan dalam pengurus fail kami https://www.onworks.net/myfiles.php?username=XXXXX dengan nama pengguna yang anda mahukan.
- 3. Muat naik aplikasi ini dalam pengurus filem tersebut.
- 4. Mulakan OnWorks Linux dalam talian atau emulator dalam talian Windows atau emulator dalam talian MACOS dari tapak web ini.
- 5. Daripada OS Linux OnWorks yang baru anda mulakan, pergi ke pengurus fail kami https://www.onworks.net/myfiles.php?username=XXXX dengan nama pengguna yang anda mahukan.
- 6. Muat turun aplikasi, pasang dan jalankan.
SKRIN
Ad
crwlr
DESCRIPTION
Pustaka ini menyediakan jenis rangka kerja dan banyak langkah sedia untuk digunakan, yang dipanggil, yang boleh anda gunakan sebagai blok binaan, untuk membina perangkak dan pengikis anda sendiri. Sebelum terjun ke perpustakaan, mari kita lihat istilah merangkak dan mengikis. Untuk kebanyakan kes penggunaan dunia sebenar, kedua-dua perkara itu berjalan seiring, itulah sebabnya perpustakaan ini membantu dan menggabungkan kedua-duanya. Perangkak (web) ialah program yang (turun) memuatkan dokumen dan mengikuti pautan di dalamnya untuk memuatkannya juga. Perangkak hanya boleh memuatkan sebenarnya semua pautan yang ditemuinya (dan dibenarkan untuk memuatkan mengikut fail robots.txt), kemudian ia hanya akan memuatkan seluruh internet (jika URL yang dimulakan bukan jalan buntu). Atau ia boleh dihadkan untuk memuatkan hanya pautan yang sepadan dengan kriteria tertentu (pada domain/hos yang sama, laluan URL bermula dengan "/foo",...) atau hanya pada kedalaman tertentu. Kedalaman 3 bermakna 3 tahap dalam. Pautan yang ditemui pada URL awal yang diberikan kepada perangkak adalah tahap 1 dan seterusnya.
Ciri-ciri
- Kesopanan Crawler (menghormati robots.txt, throttling,...)
- Dapatkan pautan mutlak daripada dokumen HTML
- Dapatkan peta laman daripada robots.txt dan dapatkan semua URL daripada peta laman tersebut
- Rangka (muat) semua halaman laman web
- Gunakan sebarang kaedah HTTP (GET, POST,...) dan hantar sebarang pengepala atau badan
- Lelaran pada halaman senarai bernombor
Bahasa Pengaturcaraan
PHP
Kategori
Ini adalah aplikasi yang juga boleh diambil dari https://sourceforge.net/projects/crwlr.mirror/. Ia telah dihoskan dalam OnWorks untuk dijalankan dalam talian dengan cara yang paling mudah daripada salah satu Sistem Operasi percuma kami.
