checkbotp - Онлайн в облаке

ПРОГРАММА:

ИМЯ

Чекбот - верификатор WWW ссылок

СИНТАКСИС

чекбот [--печенье] [--отлаживать] [--файл имя файла] [--Помогите]
[--mailto адрес электронной почты] [--прокси список доменов]
[--подробный]
[--url начальный URL]
[--соответствие строка соответствия] [--исключать исключить строку]
[--прокси URL прокси] [- только для внутреннего использования]
[- игнорировать игнорировать строку]
[--фильтр подстановка регулярного выражения]
[--стиль URL файла стиля]
[--Примечание Примечание] [--спать секунды] [- тайм-аут тайм-аут]
[--интервал секунды] [- не предупреждать Коды ответа HTTP]
[--enable-виртуальный]
[- язык код языка]
[- подавить файл подавления]
[начальные URL]

ОПИСАНИЕ

Checkbot проверяет ссылки в определенной части всемирной паутины. Создает HTML
страницы с диагностикой.

Checkbot использует LWP для поиска URL-адресов на страницах и их проверки. Поддерживает те же схемы, что и
LWP делает и находит те же ссылки, что и HTML :: LinkExtor.

Checkbot считает ссылки либо «внутренними», либо «внешними». Внутренние ссылки - это ссылки
в веб-пространстве, которое необходимо проверить. Если внутренняя ссылка указывает на Интернет
document этот документ извлекается, а его ссылки извлекаются и обрабатываются. Внешний
ссылки проверяются только на работоспособность. Checkbot проверяет ссылки по мере их нахождения, поэтому внутренние
и внешние ссылки проверяются одновременно, даже если они обрабатываются по-разному.

Возможные варианты Checkbot:

--печенье
Принимать файлы cookie от сервера и предлагать их снова при последующих запросах. Это может быть
полезно для серверов, которые используют файлы cookie для обработки сеансов. По умолчанию Checkbot не
принимать любые файлы cookie.

--отлаживать
Включите режим отладки. Больше не поддерживается, но некоторые файлы будут храниться
вокруг этого в противном случае было бы удалено.

--файл
Используйте файл файл имя в качестве основы для имен сводных файлов. Страница сводки будет
получить файл имя задано, а страницы сервера основаны на файл имя без
.html расширение. Например, установка этого параметра на "index.html" создаст
итоговая страница index.html и серверные страницы index-server1.html и
индекс-сервер2.html.

Значение по умолчанию для этой опции - «checkbot.html».

--Помогите
Показывает краткое справочное сообщение на стандартном выходе.

--mailto [, ]
Отправить письмо e-mail адрес когда Checkbot завершит проверку. Вы можете дать больше, чем
один адрес через запятую. Уведомление по электронной почте содержит небольшое резюме
результаты, достижения. Начиная с Checkbot 1.76 электронное письмо отправляется только в том случае, если проблемы были обнаружены во время
Чекбот запускается.

--noproxy
Не отправляйте запросы к данным доменам через прокси. Список доменов должен быть запятой-
разделенный список. Например, избегайте использования прокси для localhost и
someserver.xyz, вы можете использовать "--noproxy localhost, someserver.xyz".

--подробный
Показывать подробный вывод во время работы. Включает все проверенные ссылки, результаты из
чеки и др.

--url
Установите начальный URL. Checkbot начинает проверку по этому URL-адресу, а затем рекурсивно проверяет
все ссылки, найденные на этой странице. Начальный URL-адрес имеет приоритет над дополнительными URL-адресами.
указан в командной строке.

Если для URL не указана схема, предполагается файловый протокол.

--соответствие
Эта опция выбирает, какие страницы Checkbot считает локальными. Если совпадение string is
содержащиеся в URL-адресе, тогда Checkbot считает страницу локальной, извлекает ее и
проверит все ссылки, содержащиеся на нем. В противном случае страница считается внешней
и проверяется только запросом HEAD.

Если нет явного совпадение string задан, будут использоваться начальные URL-адреса (см. параметр "--url")
вместо этого как строку соответствия. В этом случае последнее имя страницы, если оно есть, будет обрезано.
Например, начальный URL типа "http://some.site/index.html"приведет к дефолту
совпадение string из "http://some.site/".

Ассоциация совпадение string может быть регулярным выражением Perl. Например, чтобы проверить основные
серверная страница и все HTML-страницы непосредственно под ней, но не HTML-страницы в
подкаталоги сервера, совпадение string был бы
"www.someserver.xyz/($|[^/pting+.html)".

--исключать
URL-адреса, соответствующие исключать string считаются внешними, даже если они
соответствовать совпадение string (См. Параметр "--match"). URL-адреса, соответствующие строке --exclude, являются
все еще проверяются, и будет сообщено, если будут обнаружены проблемы, но они не будут
проверил дальнейшие ссылки на сайт.

Ассоциация исключать string может быть регулярным выражением Perl. Например, чтобы рассмотреть все URL-адреса
с внешней строкой запроса используйте «[= \?]». Это может быть полезно, когда URL-адрес с запросом
string открывает путь к огромной базе данных, которая будет проверена.

--фильтр
Этот параметр определяет фильтр string, которое является регулярным выражением Perl. Этот фильтр
запускается для каждого найденного URL-адреса, тем самым перезаписывая URL-адрес перед тем, как он попадет в очередь, чтобы быть
проверил. Его можно использовать для удаления элементов из URL-адреса. Эта опция может быть полезна, когда
символические ссылки указывают на тот же каталог, или когда система управления контентом добавляет
идентификаторы сеанса в URL-адреса.

Например, "/ old / new /" заменит вхождения слова "старый" на "новый" в каждом URL.

- игнорировать
URL-адреса, соответствующие игнорировать string не проверяются вообще, они полностью игнорируются
Чекбот. Это может быть полезно для игнорирования ссылок с известными проблемами или для игнорирования ссылок, ведущих
в базы данных. В игнорировать string соответствует после фильтр string был применен.

Ассоциация игнорировать string может быть регулярным выражением Perl.

Например, «www.server.com \ / (one | two)» будет соответствовать всем URL-адресам, начинающимся с
www.server.com/one или www.server.com/two.

--прокси
Этот атрибут указывает URL-адрес прокси-сервера. Только запросы HTTP и FTP
будет отправлен на этот прокси-сервер.

- только для внутреннего использования
Пропустите проверку внешних ссылок в конце запуска Checkbot. Только соответствие
ссылки проверены. Обратите внимание, что при некоторых перенаправлениях внешние ссылки могут быть
проверено.

--Примечание
Ассоциация в своих размышлениях дословно включается в почтовое сообщение (см. параметр «--mailto»). Это может быть
Полезно, например, включить URL-адрес сводной HTML-страницы для удобства использования.

Имеет смысл только в сочетании с параметром "--mailto".

--спать
Количество секунды спать между запросами. По умолчанию 0 секунд, т. Е. Не
вообще спать между запросами. Установка этого параметра может быть полезна для сохранения нагрузки на
веб-сервер не работает во время работы Checkbot. Этот параметр также может быть установлен на
дробное число, т. е. значение 0.1 будет спать одну десятую секунды между
запросы.

- тайм-аут
Таймаут по умолчанию для запросов, указанный в секундах. По умолчанию - 2 минуты.

--интервал
Максимальный интервал в секундах между обновлениями веб-страниц результатов. По умолчанию 3
часов (10800 секунд). Checkbot начнет интервал через одну минуту, и постепенно
увеличьте его до максимального интервала.

--стиль
Когда используется эта опция, Checkbot встраивает этот URL-адрес как ссылку на файл стиля на каждом
страницу пишет. Это упрощает настройку макета страниц, созданных с помощью
Чекбот.

- не предупреждать
Не включайте предупреждения на страницах результатов для тех кодов ответа HTTP, которые соответствуют
регулярное выражение. Например, --dontwarn "(301 | 404)" не будет включать 301 и
404 кода ответа.

Checkbot использует коды ответа, сгенерированные сервером, даже если этот код ответа
не определен в RFC 2616 (HTTP / 1.1). В дополнение к обычному коду ответа HTTP,
Checkbot определяет несколько кодов ответов для ситуаций, которые технически не являются
проблема, но которая в любом случае вызывает проблемы во многих случаях. Эти коды:

901 Имя хоста ожидается, но не найдено
В этом случае URL-адрес поддерживает имя хоста, но не был найден
в URL. Обычно это указывает на ошибку в URL-адресе. An
Исключением является то, что эта проверка не применяется к URL-адресам news :.

902 Обнаружено неквалифицированное имя хоста
В этом случае имя хоста не содержит доменной части.
Обычно это означает, что страницы работают нормально при просмотре в
исходный домен, но не если смотреть извне.

903 Двойная косая черта в пути URL
В URL-адресе есть двойная косая черта. Это законно, но некоторые сети
серверы не могут справиться с этим очень хорошо и могут привести к тому, что Checkbot
убегать. См. Также комментарии ниже.

904 Неизвестная схема в URL
URL-адрес начинается со схемы, которую Checkbot не знает.
о. Часто это происходит из-за неправильного ввода схемы URL-адреса,
но схема также может быть законной. В этом случае позвольте
я знаю, чтобы его можно было добавить в Checkbot.

--enable-виртуальный
Эта опция позволяет работать с виртуальными серверами. Затем Checkbot предполагает, что все
имена хостов для внутренних серверов уникальны, даже если их IP-адреса могут быть
тем же. Обычно Checkbot использует IP-адрес для различения серверов. Это
преимущество в том, что если у сервера два имени (например, www и bamboozle), его страницы получают только
проверил один раз. Когда вы хотите проверить несколько виртуальных серверов, это вызывает проблемы,
что эта функция работает, используя имя хоста для распознавания сервера.

- язык
Аргументом для этой опции является двухбуквенный код языка. Checkbot будет использовать язык
переговоры для запроса файлов на этом языке. По умолчанию запрашивается английский
язык (код языка 'en').

- подавить
Аргументом для этой опции является файл, содержащий комбинации кодов ошибок и
URL-адреса, для которых нужно подавить предупреждения. Это можно использовать, чтобы избежать сообщения об известных и
неустранимые ошибки или предупреждения URL.

Формат файла подавления - простой формат, разделенный пробелами, сначала
перечисление кода ошибки, за которым следует URL-адрес. Каждая комбинация кода ошибки и URL-адреса
указаны с новой строки. Комментарии могут быть добавлены к файлу, начав строку с символа
"#" персонаж.

№ 301 Переехал навсегда
301 http://www.w3.org/P3P

# 403 Запрещено
403 http://www.herring.com/

Для большей гибкости вместо обычного URL-адреса можно использовать регулярное выражение. В
регулярное выражение должно быть заключено в косую черту. Например, чтобы подавить все
403 ошибки в Википедии:

403 / http: \ / \ / wikipedia.org \/.*/

Устаревшие параметры, которые исчезнут в следующем выпуске:

--allow-simple-hosts (устарело)
Этот параметр отключает предупреждения об URL-адресах, содержащих неквалифицированные имена хостов. Этот
полезен для сайтов интрасети, которые часто используют простое имя хоста или даже
"localhost" в своих ссылках.

Использование этой опции не рекомендуется. Пожалуйста, используйте механизм --dontwarn для ошибки 902
.

HINTS И СОВЕТЫ

Проблемы с проверкой FTP-ссылок
Некоторые пользователи могут постоянно сталкиваться с проблемами при проверке FTP-ссылок. В этих случаях
может быть полезно указать Net :: FTP использовать пассивный режим FTP для проверки файлов. Это может
можно сделать, установив для переменной среды FTP_PASSIVE значение 1. Например, используя
оболочка bash: «FTP_PASSIVE = 1 контрольный бот ...». См. Документацию Net :: FTP для получения дополнительной информации.
Детали.

Убегающий Checkbot
В некоторых случаях для работы Checkbot требуется целая вечность. Есть две общие причины
для этой проблемы.

Во-первых, приложение базы данных может быть частью веб-сайта, которое генерирует
новая страница на основе ссылок на другой странице. Поскольку Checkbot пытается пройти через все
ссылки это создаст бесконечное количество страниц. Такой эффект убегания
обычно предсказуемо. Этого можно избежать, используя параметр --exclude.

Во-вторых, проблема конфигурации сервера может вызвать цикл при генерации URL-адресов для страниц.
этого действительно не существует. Это приведет к появлению URL-адресов в форме
http://some.server/images/images/images/logo.png, с добавлением еще большего количества «изображений».
Checkbot не может проверить это, потому что сервер должен был указать, что
запрошенные страницы не существуют. Нет простого способа решить эту проблему, кроме как исправить
оскорбительный веб-сервер или неработающие ссылки.

Проблемы со ссылками https: //
Сообщение об ошибке

Не удается найти метод объекта "новый" через пакет "LWP :: Protocol :: https :: Socket"

обычно означает, что текущая установка LWP не поддерживает проверку SSL.
ссылки (т.е. ссылки, начинающиеся с https: //). Эту проблему можно решить, установив
модуль Crypt :: SSLeay.

ПРИМЕРЫ

Самый простой способ использования Checkbot - это проверка набора страниц на сервере. Чтобы проверить мой
страницы чек-бота, которые я бы использовал:

чекбот http://degraaff.org/checkbot/

Запуск Checkbot может занять некоторое время, поэтому Checkbot может отправлять уведомление по электронной почте, когда запуск
сделанный:

чекбот --mailto [электронная почта защищена] http://degraaff.org/checkbot/

Можно проверить набор локальных файлов без использования веб-сервера. Это работает только
для статических файлов, но в некоторых случаях может быть полезно.

файл чекбота: /// var / www / documents /

ПРЕДПОСЫЛКИ

Этот сценарий использует модули «LWP».

ДОПОЛНИТЕЛЬНЫЕ СРЕДСТВА

Этот скрипт может отправлять почту, когда присутствует "Mail :: Send".

Используйте checkbotp онлайн с помощью сервисов onworks.net