linkchecker - Online en la nube

PROGRAMA:

NOMBRE

linkchecker: cliente de línea de comandos para verificar documentos HTML y sitios web en busca de enlaces rotos

SINOPSIS

verificador de enlaces [opciones] [archivo-o-URL] ...

DESCRIPCIÓN

Funciones de LinkChecker

· Verificación recursiva y multiproceso,

· Salida en texto normal o en color, HTML, SQL, CSV, XML o un gráfico de mapa del sitio en
diferentes formatos,

· Soporte para HTTP / 1.1, HTTPS, FTP, mailto :, news :, nntp :, Telnet y archivo local
campo de golf,

· Restricción de la verificación de enlaces con filtros de URL,

· Soporte de proxy,

· Autorización de nombre de usuario / contraseña para HTTP, FTP y Telnet,

· Compatibilidad con el protocolo de exclusión de robots.txt,

· Soporte para Cookies

· Soporte para HTML5

· Verificación de sintaxis HTML y CSS

· Comprobación de antivirus

· Una línea de comandos, GUI e interfaz web

EJEMPLOS

El uso más común comprueba el dominio dado de forma recursiva:
verificador de enlaces http://www.example.com/
Tenga en cuenta que esto verifica todo el sitio que puede tener miles de URL. Utilizar el -r
opción para restringir la profundidad de recursividad.
No compruebe las URL con /secreto en su nombre. Todos los demás enlaces se verifican como de costumbre:
verificador de enlaces --ignore-url = / secreto misitio.ejemplo.com
Comprobando un archivo HTML local en Unix:
verificador de enlaces ../bla.html
Comprobando un archivo HTML local en Windows:
verificador de enlaces c: \ temp \ test.html
Puedes saltearte http:// parte de la URL si el dominio comienza con www.:
verificador de enlaces www.example.com
Puedes saltearte ftp:// parte de la URL si el dominio comienza con ftp.:
verificador de enlaces -r0 ftp.ejemplo.com
Genere un gráfico de mapa del sitio y conviértalo con la utilidad graphviz dot:
verificador de enlaces -odot -v www.example.com | punto -Tps > mapa del sitio.ps

CAMPUS

General opciones
-fNOMBRE DEL ARCHIVO, --config =NOMBRE DEL ARCHIVO
Uso NOMBRE DEL ARCHIVO como archivo de configuración. Como usa LinkChecker predeterminado
~ / .linkchecker / linkcheckerrc.

-h, --ayuda
¡Ayúdame! Imprima la información de uso de este programa.

--stdin
Lea la lista de URL separadas por espacios en blanco para verificar desde stdin.

-tNÚMERO, --threads =NÚMERO
No genere más que el número de subprocesos especificado. El número predeterminado de subprocesos es
100. Para deshabilitar el subproceso, especifique un número no positivo.

-V, --versión
Imprime la versión y sal.

--lista-complementos
Imprima los complementos de verificación disponibles y salga.

Salida opciones
-DCADENA, --debug =CADENA
Imprime la salida de depuración para el registrador dado. Los registradores disponibles son cmdline,
comprobación, cache, gui, dns y todos. Especificando todos es un alias para especificar todo
registradores disponibles. La opción se puede dar varias veces para depurar con más de
un registrador. Para obtener resultados precisos, el subproceso se desactivará durante las ejecuciones de depuración.

-FTIPO[/CODIFICACION][/NOMBRE DEL ARCHIVO], --file-output =TIPO[/CODIFICACION][/NOMBRE DEL ARCHIVO]
Salida a un archivo verificador de enlaces.TIPO, $ INICIO / .linkchecker / lista negra para lista negra
salida, o NOMBRE DEL ARCHIVO si se especifica. los CODIFICACION especifica la codificación de salida, la
el predeterminado es el de su localidad. Las codificaciones válidas se enumeran en
http://docs.python.org/library/codecs.html# codificaciones-estándar.
El NOMBRE DEL ARCHIVO y CODIFICACION partes del ninguna el tipo de salida será ignorado, de lo contrario si
el archivo ya existe, se sobrescribirá. Puede especificar esta opción más
de una vez. Los tipos de salida de archivo válidos son texto, html, sql, csv, GML, punto, xml,
Indice Web, ninguna or lista negra. El valor predeterminado es sin salida de archivo. Los distintos tipos de salida
se documentan a continuación. Tenga en cuenta que puede suprimir toda la salida de la consola con la opción
-o ninguna.

--sin Estado
No imprima mensajes de cheque de estado.

--no-advertencias
No registre advertencias. El valor predeterminado es registrar advertencias.

-oTIPO[/CODIFICACION], --salida =TIPO[/CODIFICACION]
Especifique el tipo de salida como texto, html, sql, csv, GML, punto, xml, Indice Web, ninguna or
lista negra. El tipo predeterminado es texto. Los distintos tipos de salida se documentan a continuación.
El CODIFICACION especifica la codificación de salida, la predeterminada es la de su configuración regional.
Las codificaciones válidas se enumeran en http://docs.python.org/library/codecs.html#estándar-
codificaciones.

-q, --tranquilo
Operación silenciosa, un alias para -o ninguna. Esto solo es útil con -F.

-v, --verboso
Registre todas las URL comprobadas. El valor predeterminado es registrar solo errores y advertencias.

-WREGEXACIONES, --warning-regex =REGEXACIONES
Defina una expresión regular que imprima una advertencia si coincide con cualquier contenido de la
enlace verificado. Esto se aplica solo a las páginas válidas, por lo que podemos obtener su contenido.
Use esto para buscar páginas que contengan algún tipo de error, por ejemplo "Esta página
se ha movido "o" Error de aplicación de Oracle ".
Tenga en cuenta que se pueden combinar varios valores en la expresión regular, por ejemplo
"(Esta página se ha movido | Error de la aplicación Oracle)".
Mira la sección REGULAR EXPRESIONES para más información.

Cuentas de cheques opciones
--cookiefile =NOMBRE DEL ARCHIVO
Leer un archivo con datos de cookies iniciales. El formato de los datos de las cookies se explica a continuación.

--verificar-externo
Verifique las URL externas.

--ignore-url =REGEXACIONES
Las URL que coincidan con la expresión regular dada se ignorarán y no se comprobarán.
Esta opción se puede dar varias veces.
Mira la sección REGULAR EXPRESIONES para más información.

-NCADENA, --nntp-servidor =CADENA
Especifique un servidor NNTP para Noticias: Enlaces. El valor predeterminado es la variable de entorno
SERVIDOR_NNTP. Si no se proporciona un host, solo se verifica la sintaxis del enlace.

--no-follow-url =REGEXACIONES
Verifique, pero no recurra a las URL que coincidan con la expresión regular dada.
Esta opción se puede dar varias veces.
Mira la sección REGULAR EXPRESIONES para más información.

-p, --contraseña
Lea una contraseña de la consola y utilícela para la autorización HTTP y FTP. Para FTP
la contraseña predeterminada es anónimo@. Para HTTP no existe una contraseña predeterminada. Ver también
-u.

-rNÚMERO, --recursion-level =NÚMERO
Compruebe de forma recursiva todos los enlaces hasta la profundidad dada. Una profundidad negativa permitirá
recursividad infinita. La profundidad predeterminada es infinita.

--timeout =NÚMERO
Establezca el tiempo de espera para los intentos de conexión en segundos. El tiempo de espera predeterminado es 60
segundos.

-uCADENA, --user =CADENA
Pruebe el nombre de usuario proporcionado para la autorización HTTP y FTP. Para FTP el predeterminado
nombre de usuario es anónimo. Para HTTP no hay un nombre de usuario predeterminado. Ver también -p.

--user-agent =CADENA
Especifique la cadena de usuario-agente para enviar al servidor HTTP, por ejemplo
"Mozilla / 4.0". El valor predeterminado es "LinkChecker / XY", donde XY es la versión actual de
Comprobador de enlaces.

CONFIGURACIÓN ARCHIVOS

Los archivos de configuración pueden especificar todas las opciones anteriores. También pueden especificar algunas opciones que
no se puede configurar en la línea de comando. Ver enlacecheckerrc(5) para obtener más información.

SALIDA TIPOS

Tenga en cuenta que, de forma predeterminada, solo se registran los errores y las advertencias. Deberías usar el --verboso
opción para obtener la lista completa de URL, especialmente cuando se genera un formato de gráfico de mapa del sitio.

texto Registrador de texto estándar, URL de registro en forma de palabra clave: argumento.

html Registrar URL en palabra clave: moda de argumento, formateado como HTML. Además tiene enlaces
a las páginas referenciadas. Las URL no válidas tienen enlaces de verificación de sintaxis HTML y CSS
adjunto.

csv Registrar el resultado de la verificación en formato CSV con una URL por línea.

GML Registre las relaciones entre padres e hijos entre las URL vinculadas como un gráfico de mapa del sitio GML.

punto Registre las relaciones entre padres e hijos entre las URL vinculadas como un gráfico de mapa del sitio DOT.

gxml Registrar el resultado de la verificación como un gráfico de mapa del sitio GraphXML.

xml El resultado de la verificación del registro es XML legible por máquina.

Indice Web
Registrar el resultado de la verificación como un mapa del sitio XML cuyo protocolo está documentado en
http://www.sitemaps.org/protocol.html.

sql Registre el resultado de la verificación como un script SQL con comandos INSERT. Un script de ejemplo para crear
la tabla SQL inicial se incluye como create.sql.

lista negra
Adecuado para trabajos cron. Registra el resultado de la verificación en un archivo ~ / .linkchecker / lista negra
que solo contiene entradas con URL no válidas y el número de veces que han
ha fallado.

ninguna No registra nada. Adecuado para depurar o verificar el código de salida.

REGULAR EXPRESIONES

LinkChecker acepta expresiones regulares de Python. Ver http://docs.python.org/
howto / regex.html para una introducción.

Una adición es que un signo de exclamación inicial niega la expresión regular.

COOKIE ARCHIVOS

Un archivo de cookie contiene datos de encabezado HTTP estándar (RFC 2616) con los siguientes posibles
nombres:

Anfitrión (requerido)
Establece el dominio para el que son válidas las cookies.

Path (opcional)
Proporciona la ruta para la que son valiosas las cookies; la ruta predeterminada es /.

Establecer cookie (requerido)
Establecer el nombre / valor de la cookie. Puede administrarse más de una vez.

Las entradas múltiples están separadas por una línea en blanco. El siguiente ejemplo enviará dos cookies
a todas las URL que comienzan con http://example.com/hello/ y una para todas las URL que comienzan con
https://example.org/:

Anfitrión: example.com
Ruta: / hola
Conjunto de cookies: ID = "smee"
Set-cookie: spam = "huevo"

Anfitrión: example.org
Set-cookie: baggage = "elitista"; comentario = "holograma"

PROXY SOPORTE

Para usar un proxy en Unix o Windows, configure $ http_proxy, $ https_proxy o $ ftp_proxy
variables de entorno a la URL del proxy. La URL debe tener el formato
http://[usuario:pass@]fortaleza[:Puerto]. LinkChecker también detecta la configuración manual de proxy de
Internet Explorer en sistemas Windows y gconf o KDE en sistemas Linux. En un uso de Mac
Internet Config para seleccionar un proxy. También puede establecer una lista de dominios separados por comas en
las variables de entorno $ no_proxy para ignorar cualquier configuración de proxy para estos dominios.
Configurar un proxy HTTP en Unix, por ejemplo, se ve así:

exportar http_proxy = "http://proxy.example.com: 8080 "

La autenticación de proxy también es compatible:

exportar http_proxy = "http://user1:[email protected]: 8081 "

Configuración de un proxy en el símbolo del sistema de Windows:

establecer http_proxy =http://proxy.example.com: 8080

REALIZADO CHEQUES

Todas las URL deben pasar una prueba de sintaxis preliminar. Los errores de cotización menores generarán un
advertencia, todos los demás problemas de sintaxis no válida son errores. Después de que pasa la verificación de sintaxis, el
La URL está en cola para comprobar la conexión. Todos los tipos de verificación de conexión se describen a continuación.

Enlaces HTTP (http:, https:)
Después de conectarse al servidor HTTP dado, se solicita la ruta o consulta dada. Todos
se siguen las redirecciones, y si se proporciona un usuario / contraseña, se utilizará como
autorización cuando sea necesario. Todos los códigos de estado HTTP finales distintos de 2xx son
errores. Se comprueba la recursividad del contenido de la página HTML.

Archivos locales (archivo:)
Es válido un archivo normal y legible que se pueda abrir. Un directorio legible también es
válido. Todos los demás archivos, por ejemplo, archivos de dispositivo, archivos ilegibles o inexistentes
son errores. Se comprueba la recursividad de HTML u otro contenido de archivo analizable.

Enlaces de correo (mailto:)
Un enlace mailto: eventualmente se resuelve en una lista de direcciones de correo electrónico. Si una dirección
falla, la lista completa fallará. Para cada dirección de correo, verificamos lo siguiente
cosas:
1) Verifique la sintaxis de la dirección, tanto de la parte anterior como posterior
la señal.
2) Busque los registros DNS MX. Si no encontramos ningún registro MX,
imprimir un error.
3) Compruebe si uno de los hosts de correo acepta una conexión SMTP.
Verifique primero los hosts con mayor prioridad.
Si ningún host acepta SMTP, imprimimos una advertencia.
4) Intente verificar la dirección con el comando VRFY. Si tenemos
una respuesta, imprima la dirección verificada como información.

Enlaces FTP (FTP:)

Para los enlaces FTP hacemos:

1) conectarse al host especificado
2) intente iniciar sesión con el usuario y la contraseña dados. El valor por defecto
el usuario es `` anónimo '', la contraseña predeterminada es `` anónimo @ ''.
3) intente cambiar al directorio dado
4) enumere el archivo con el comando NLST

Enlaces Telnet (`` telnet: ``)

Intentamos conectarnos y si se da usuario / contraseña, inicie sesión en el
dado el servidor telnet.

Enlaces NNTP (`` noticias: '', `` noticias: '', `` nntp '')

Intentamos conectarnos al servidor NNTP dado. Si un grupo de noticias o
se especifica el artículo, intente solicitarlo al servidor.

Enlaces no admitidos (`` javascript: '', etc.)

Un enlace no compatible solo imprimirá una advertencia. Sin más comprobaciones
será realizado.

Se puede encontrar la lista completa de enlaces reconocidos pero no compatibles
existentes linkcheck / checker / unknownurl.py archivo fuente.
Los más destacados deberían ser los enlaces JavaScript.

PLUGINS

Hay dos tipos de complementos: complementos de conexión y de contenido. Se ejecutan complementos de conexión
después de una conexión exitosa al host URL. Los complementos de contenido se ejecutan si el tipo de URL
tiene contenido (mailto: las URL no tienen contenido, por ejemplo) y si la verificación no está prohibida
(es decir, mediante HTTP robots.txt). Ver verificador de enlaces --lista-complementos para obtener una lista de complementos y sus
documentación. Todos los complementos se habilitan a través del enlacecheckerrc(5) archivo de configuración.

RECURSIÓN

Antes de descender de forma recursiva a una URL, debe cumplir varias condiciones. Son
comprobado en este orden:

1. Una URL debe ser válida.

2. Una URL debe poder analizarse. Esto actualmente incluye archivos HTML,
Opera marcadores de archivos y directorios. Si un tipo de archivo no puede
ser determinado (por ejemplo, no tiene un archivo HTML común
extensión, y el contenido no parece HTML), se asume
para ser no analizable.

3. El contenido de la URL debe poder recuperarse. Este suele ser el caso
excepto, por ejemplo, mailto: o tipos de URL desconocidos.

4. No se debe superar el nivel máximo de recursividad. Esta configurado
con el --nivel de recursividad opción y es ilimitado por defecto.

5. No debe coincidir con la lista de URL ignoradas. Esto se controla con
las --ignorar-url .

6. El Protocolo de exclusión de robots debe permitir que los enlaces en la URL sean
seguido de forma recursiva. Esto se comprueba buscando un
Directiva "nofollow" en los datos del encabezado HTML.

Tenga en cuenta que la recursividad del directorio lee todos los archivos de ese directorio, no solo un subconjunto
como index.htm *.

NOTAS

URL en la línea de comandos que comienzan con ftp. son tratados como ftp: // ftp., URL que comienzan con
www. son tratados como http://www.. También puede proporcionar archivos locales como argumentos.

Si tiene su sistema configurado para establecer automáticamente una conexión a Internet
(por ejemplo, con diald), se conectará cuando compruebe los enlaces que no apuntan a su host local.
Ingrese al --ignorar-url opción para evitar esto.

Los enlaces de Javascript no son compatibles.

Si su plataforma no admite subprocesos, LinkChecker lo deshabilita automáticamente.

Puede proporcionar varios pares de usuario / contraseña en un archivo de configuración.

Al comprobar Noticias: enlaces, el host NNTP dado no necesita ser el mismo que el host de
el usuario que navega por sus páginas.

MEDIO AMBIENTE

SERVIDOR_NNTP - especifica el servidor NNTP predeterminado
http_proxy - especifica el servidor proxy HTTP predeterminado
ftp_proxy - especifica el servidor proxy FTP predeterminado
no_proxy - lista de dominios separados por comas para no contactar a través de un servidor proxy
LC_MENSAJES, IDIOMA, IDIOMA - especificar el idioma de salida

DEVOLUCION VALOR

El valor de retorno es 2 cuando

· Ocurrió un error de programa.

El valor de retorno es 1 cuando

· Se encontraron enlaces inválidos o

· Se encontraron advertencias de enlaces y las advertencias están habilitadas

De lo contrario, el valor de retorno es cero.

LIMITACIONES

LinkChecker consume memoria para verificar cada URL en cola. Con miles de URL en cola
la cantidad de memoria consumida puede llegar a ser bastante grande. Esto puede ralentizar el programa o
incluso todo el sistema.

Use linkchecker en línea usando los servicios de onworks.net