checkbotp - Dalam talian di Awan

JADUAL:

NAMA

Checkbot - Pengesah Pautan WWW

SINOPSIS

bot semak [--biskut] [--nyahpepijat] [--fail nama fail] [- membantu]
[--mailto alamat e-mel] [--tiada proksi senarai domain]
[--verbose]
[--url URL mula]
[--perlawanan padanan rentetan] [--kecualikan kecualikan rentetan]
[--proksi URL proksi] [--dalaman sahaja]
[--abai abaikan rentetan]
[--penapis ungkapan biasa penggantian]
[--gaya URL fail gaya]
[--catatan catatan] [--tidur saat] [--masa tamat masa tamat]
[--selang saat] [--jangan amaran Kod respons HTTP]
[--dayakan-maya]
[--bahasa kod bahasa]
[--menekan fail penindasan]
[URL mula]

DESCRIPTION

Checkbot mengesahkan pautan dalam bahagian tertentu World Wide Web. Ia mencipta HTML
halaman dengan diagnostik.

Checkbot menggunakan LWP untuk mencari URL pada halaman dan menyemaknya. Ia menyokong skim yang sama seperti
LWP lakukan dan mencari pautan yang sama yang HTML::LinkExtor akan temui.

Checkbot menganggap pautan sama ada 'dalaman' atau 'luaran'. Pautan dalaman adalah pautan
dalam ruang web yang perlu disemak. Jika pautan dalaman menghala ke web
dokumen dokumen ini diambil, dan pautannya diekstrak dan diproses. Luaran
pautan hanya disemak untuk berfungsi. Checkbot menyemak pautan kerana ia menemuinya, jadi dalaman
dan pautan luaran disemak pada masa yang sama, walaupun ia dilayan secara berbeza.

Pilihan untuk Checkbot ialah:

--biskut
Terima kuki daripada pelayan dan tawarkannya semula pada permintaan kemudian. Ini mungkin
berguna untuk pelayan yang menggunakan kuki untuk mengendalikan sesi. Secara lalai Checkbot tidak
terima sebarang kuki.

--nyahpepijat
Dayakan mod nyahpepijat. Tidak benar-benar disokong lagi, tetapi ia akan menyimpan beberapa fail
di sekelilingnya jika tidak akan dipadamkan.

--fail
Gunakan fail fail nama sebagai asas untuk nama fail ringkasan. Halaman ringkasan akan
dapatkan fail nama diberikan, dan halaman pelayan adalah berdasarkan fail nama tanpa
sambungan .html. Sebagai contoh, menetapkan pilihan ini kepada "index.html" akan mencipta a
halaman ringkasan dipanggil index.html dan halaman pelayan dipanggil index-server1.html dan
index-server2.html.

Nilai lalai untuk pilihan ini ialah "checkbot.html".

- membantu
Menunjukkan mesej bantuan ringkas pada output standard.

--mailto [, ]
Hantar mel ke e-mel alamat apabila Checkbot selesai menyemak. Anda boleh memberi lebih daripada
satu alamat dipisahkan dengan koma. E-mel pemberitahuan termasuk ringkasan kecil
keputusan. Setakat Checkbot 1.76 e-mel hanya dihantar jika masalah ditemui semasa
larian Checkbot.

--tiada proksi
Jangan proksi permintaan kepada domain yang diberikan. Senarai domain mestilah koma-
senarai berasingan. Sebagai contoh, jadi elakkan menggunakan proksi untuk localhost dan
someserver.xyz, anda boleh menggunakan "--noproxy localhost,someserver.xyz".

--verbose
Tunjukkan output verbose semasa berjalan. Termasuk semua pautan yang diperiksa, hasil daripada
cek, dsb.

--url
Tetapkan URL permulaan. Checkbot mula menyemak pada URL ini, dan kemudian menyemak secara rekursif
semua pautan yang terdapat di halaman ini. URL permulaan diutamakan daripada URL tambahan
dinyatakan pada baris arahan.

Jika tiada skema dinyatakan untuk URL, protokol fail diandaikan.

--perlawanan
Pilihan ini memilih halaman yang Checkbot anggap setempat. Sekiranya sepadan dengan rentetan is
terkandung dalam URL, kemudian Checkbot menganggap halaman itu setempat, mendapatkannya semula dan
akan menyemak semua pautan yang terkandung di dalamnya. Jika tidak, halaman itu dianggap luaran
dan ia hanya disemak dengan permintaan HEAD.

Jika tidak jelas sepadan dengan rentetan diberikan, URL permulaan (Lihat pilihan "--url") akan digunakan
sebagai rentetan padanan sebaliknya. Dalam kes ini, nama halaman akhir, jika ada, akan dipangkas.
Contohnya, URL permulaan seperti "http://some.site/index.html" akan mengakibatkan lalai
sepadan dengan rentetan daripada "http://some.site/".

. sepadan dengan rentetan boleh menjadi ungkapan biasa perl. Sebagai contoh, untuk menyemak utama
halaman pelayan dan semua halaman HTML secara langsung di bawahnya, tetapi bukan halaman HTML dalam
subdirektori pelayan, the sepadan dengan rentetan akan menjadi
"www.someserver.xyz/($|[^/]+.html)".

--kecualikan
URL yang sepadan dengan tidak termasuk rentetan dianggap sebagai luaran, walaupun ia berlaku
sepadan dengan sepadan dengan rentetan (Lihat pilihan "--match"). URL yang sepadan dengan rentetan --exclude ialah
masih disemak dan akan dilaporkan jika masalah ditemui, tetapi ia tidak akan berlaku
menyemak pautan lanjut ke tapak.

. tidak termasuk rentetan boleh menjadi ungkapan biasa perl. Contohnya, untuk mempertimbangkan semua URL
dengan rentetan pertanyaan luaran, gunakan "[=\?]". Ini boleh berguna apabila URL dengan pertanyaan
string membuka kunci laluan ke pangkalan data yang besar yang akan diperiksa.

--penapis
Pilihan ini mentakrifkan a menapis rentetan, yang merupakan ungkapan biasa perl. Penapis ini
dijalankan pada setiap URL yang ditemui, dengan itu menulis semula URL sebelum ia memasuki baris gilir
diperiksa. Ia boleh digunakan untuk mengalih keluar elemen daripada URL. Pilihan ini boleh berguna apabila
pautan simbolik menghala ke direktori yang sama, atau apabila sistem pengurusan kandungan menambah
ID sesi ke URL.

Contohnya "/lama/baru/" akan menggantikan kejadian 'lama' dengan 'baharu' dalam setiap URL.

--abai
URL yang sepadan dengan mengabaikan rentetan tidak disemak sama sekali, mereka diabaikan sepenuhnya oleh
Bot semak. Ini boleh berguna untuk mengabaikan pautan masalah yang diketahui, atau mengabaikan pautan yang membawa
ke dalam pangkalan data. The mengabaikan rentetan dipadankan selepas menapis rentetan telah diaplikasikan.

. mengabaikan rentetan boleh menjadi ungkapan biasa perl.

Contohnya "www.server.com\/(one|two)" akan sepadan dengan semua URL bermula dengan sama ada
www.server.com/one atau www.server.com/two.

--proksi
Atribut ini menentukan URL pelayan proksi. Hanya permintaan HTTP dan FTP
akan dihantar ke pelayan proksi tersebut.

--dalaman sahaja
Langkau pemeriksaan pautan luar pada penghujung larian Checkbot. Hanya padanan
pautan disemak. Ambil perhatian bahawa sesetengah ubah hala masih boleh menyebabkan pautan luaran menjadi
diperiksa.

--catatan
. ambil perhatian disertakan verbatim dalam mesej mel (Lihat pilihan "--mailto"). Ini boleh jadi
berguna untuk memasukkan URL halaman HTML ringkasan untuk rujukan mudah, contohnya.

Hanya bermakna dalam kombinasi dengan pilihan "--mailto".

--tidur
Bilangan saat untuk tidur di antara permintaan. Lalai ialah 0 saat, iaitu tidak
tidur sama sekali antara permintaan. Menetapkan pilihan ini boleh berguna untuk mengekalkan beban
pelayan web turun semasa menjalankan Checkbot. Pilihan ini juga boleh ditetapkan kepada a
nombor pecahan, iaitu nilai 0.1 akan tidur sepersepuluh saat antara
permintaan.

--masa tamat
Tamat masa lalai untuk permintaan, dinyatakan dalam beberapa saat. Lalai ialah 2 minit.

--selang
Selang maksimum antara kemas kini halaman web hasil dalam beberapa saat. Lalai ialah 3
jam (10800 saat). Checkbot akan memulakan selang pada satu minit, dan secara beransur-ansur
memanjangkannya ke arah selang maksimum.

--gaya
Apabila pilihan ini digunakan, Checkbot membenamkan URL ini sebagai pautan ke fail gaya pada setiap satu
halaman yang ditulisnya. Ini memudahkan untuk menyesuaikan reka letak halaman yang dijana oleh
Bot semak.

--jangan amaran
Jangan sertakan amaran pada halaman hasil untuk kod respons HTTP yang sepadan
ungkapan biasa. Sebagai contoh, --dontwarn "(301|404)" tidak akan termasuk 301 dan
404 kod jawapan.

Checkbot menggunakan kod respons yang dijana oleh pelayan, walaupun jika kod respons ini
tidak ditakrifkan dalam RFC 2616 (HTTP/1.1). Selain kod respons HTTP biasa,
Checkbot mentakrifkan beberapa kod tindak balas untuk situasi yang bukan a
masalah, tetapi yang menyebabkan masalah dalam banyak kes pula. Kod ini ialah:

Nama hos 901 dijangka tetapi tidak ditemui
Dalam kes ini, URL menyokong nama hos, tetapi tidak ditemui
dalam URL. Ini biasanya menunjukkan kesilapan dalam URL. An
pengecualian ialah semakan ini tidak digunakan pada berita: URL.

902 Nama hos tidak layak ditemui
Dalam kes ini, nama hos tidak mengandungi bahagian domain.
Ini biasanya bermakna halaman berfungsi dengan baik apabila dilihat dalam
domain asal, tetapi tidak apabila dilihat dari luarnya.

903 Garis miring dua kali dalam laluan URL
URL mempunyai garis miring berganda di dalamnya. Ini adalah undang-undang, tetapi beberapa web
pelayan tidak dapat mengendalikannya dengan baik dan boleh menyebabkan Checkbot
melarikan diri. Lihat juga komen di bawah.

Skim 904 tidak diketahui dalam URL
URL bermula dengan skema yang Checkbot tidak tahu
tentang. Ini sering disebabkan oleh kesilapan menaip skema URL,
tetapi skim itu juga boleh menjadi satu undang-undang. Dalam kes itu sila biarkan
saya tahu supaya ia boleh ditambahkan pada Checkbot.

--dayakan-maya
Pilihan ini membolehkan berurusan dengan pelayan maya. Checkbot kemudian menganggap bahawa semua
nama hos untuk pelayan dalaman adalah unik, walaupun alamat IP mereka mungkin
sama. Biasanya Checkbot menggunakan alamat IP untuk membezakan pelayan. Ini mempunyai
kelebihan yang jika pelayan mempunyai dua nama (cth www dan bamboozle) halamannya hanya mendapat
diperiksa sekali. Apabila anda ingin menyemak berbilang pelayan maya ini menyebabkan masalah,
yang mana ciri ini berfungsi dengan menggunakan nama hos untuk membezakan pelayan.

--bahasa
Hujah untuk pilihan ini ialah kod bahasa dua huruf. Checkbot akan menggunakan bahasa
rundingan untuk meminta fail dalam bahasa itu. Lalai adalah untuk meminta bahasa Inggeris
bahasa (kod bahasa 'en').

--menekan
Hujah untuk pilihan ini ialah fail yang mengandungi gabungan kod ralat dan
URL untuk menyekat amaran. Ini boleh digunakan untuk mengelakkan pelaporan yang diketahui dan
ralat atau amaran URL yang tidak boleh diperbaiki.

Format fail penindasan ialah format terhad ruang putih yang mudah, pertama
menyenaraikan kod ralat diikuti dengan URL. Setiap kod ralat dan gabungan URL ialah
disenaraikan pada baris baharu. Komen boleh ditambah pada fail dengan memulakan baris dengan a
watak "#".

# 301 Bergerak Secara Kekal
301 http://www.w3.org/P3P

# 403 Terlarang
403 http://www.herring.com/

Untuk fleksibiliti lanjut, ungkapan biasa boleh digunakan dan bukannya URL biasa. The
ungkapan biasa mesti disertakan dengan garis miring ke hadapan. Sebagai contoh, untuk menyekat semua
403 ralat di wikipedia:

403 /http:\/\/wikipedia.org\/.*/

Pilihan ditamatkan yang akan hilang dalam keluaran akan datang:

--allow-simple-hosts (ditamatkan)
Pilihan ini mematikan amaran tentang URL yang mengandungi nama hos yang tidak layak. ini
berguna untuk tapak intranet yang selalunya menggunakan nama hos yang ringkas atau pun
"localhost" dalam pautan mereka.

Penggunaan pilihan ini ditamatkan. Sila gunakan mekanisme --dontwarn untuk ralat 902
sebaliknya.

HIJAU DAN TIP

Masalah dengan menyemak pautan FTP
Sesetengah pengguna mungkin mengalami masalah yang konsisten dengan menyemak pautan FTP. Dalam kes ini
mungkin berguna untuk mengarahkan Net::FTP menggunakan mod FTP pasif untuk menyemak fail. Ini boleh
dilakukan dengan menetapkan pembolehubah persekitaran FTP_PASSIVE kepada 1. Contohnya, menggunakan
bash shell: "FTP_PASSIVE=1 checkbot ...". Lihat dokumentasi Net::FTP untuk maklumat lanjut
butiran.

Checkbot yang melarikan diri
Dalam sesetengah kes, Checkbot benar-benar mengambil masa selama-lamanya untuk diselesaikan. Terdapat dua punca biasa
untuk masalah ini.

Pertama, mungkin terdapat aplikasi pangkalan data sebagai sebahagian daripada laman web yang menjana a
halaman baharu berdasarkan pautan pada halaman lain. Memandangkan Checkbot cuba mengembara melalui semua
pautan ini akan mencipta bilangan halaman yang tidak terhingga. Kesan lari seperti ini adalah
biasanya boleh diramal. Ia boleh dielakkan dengan menggunakan pilihan --exclude.

Kedua, masalah konfigurasi pelayan boleh menyebabkan gelung dalam menjana URL untuk halaman
itu benar-benar tidak wujud. Ini akan menghasilkan URL borang
http://some.server/images/images/images/logo.png, dengan lebih banyak lagi 'imej' disertakan.
Checkbot tidak boleh menyemak ini kerana pelayan sepatutnya menunjukkan bahawa
halaman yang diminta tidak wujud. Tidak ada cara mudah untuk menyelesaikannya selain daripada membetulkan
pelayan web yang menyinggung perasaan atau pautan yang rosak.

Masalah dengan pautan https://
Mesej ralat

Tidak dapat mencari kaedah objek "baru" melalui pakej "LWP::Protocol::https::Socket"

biasanya bermakna pemasangan semasa LWP tidak menyokong pemeriksaan SSL
pautan (iaitu pautan bermula dengan https://). Masalah ini boleh diselesaikan dengan memasang
modul Crypt::SSLeay.

CONTOH

Penggunaan Checkbot yang paling mudah adalah untuk menyemak set halaman pada pelayan. Untuk menyemak saya
halaman checkbot yang saya akan gunakan:

bot semak http://degraaff.org/checkbot/

Larian Checkbot boleh mengambil sedikit masa supaya Checkbot boleh menghantar mel pemberitahuan apabila larian dijalankan
selesai:

bot semak --mailto [e-mel dilindungi] http://degraaff.org/checkbot/

Adalah mungkin untuk menyemak set fail tempatan tanpa menggunakan pelayan web. Ini hanya berfungsi
untuk fail statik tetapi mungkin berguna dalam beberapa kes.

fail checkbot:///var/www/documents/

PRASUITAS

Skrip ini menggunakan modul "LWP".

SYARAT-SYARAT

Skrip ini boleh menghantar mel apabila "Mail::Send" hadir.

Gunakan checkbotp dalam talian menggunakan perkhidmatan onworks.net