Esta es la aplicación para Linux llamada RobotsTxt, cuya última versión se puede descargar como robotstxtsourcecode.tar.gz. Se puede ejecutar en línea en el proveedor de alojamiento gratuito OnWorks para estaciones de trabajo.
Descargue y ejecute en línea esta aplicación llamada RobotsTxt con OnWorks de forma gratuita.
Siga estas instrucciones para ejecutar esta aplicación:
- 1. Descargue esta aplicación en su PC.
- 2. Ingrese en nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 3. Cargue esta aplicación en dicho administrador de archivos.
- 4. Inicie el emulador en línea OnWorks Linux o Windows en línea o el emulador en línea MACOS desde este sitio web.
- 5. Desde el SO OnWorks Linux que acaba de iniciar, vaya a nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 6. Descarga la aplicación, instálala y ejecútala.
CAPTURAS DE PANTALLA:
RobotsTxt
DESCRIPCIÓN:
Esta es una biblioteca de alto rendimiento, probada en producción, para analizar y evaluar las reglas de robots.txt con agentes de usuario de rastreadores. Implementa la semántica básica del Protocolo de Exclusión de Robots: secciones de agente de usuario, directivas de permiso/despermiso, gestión de comodines y reglas de precedencia. El código está optimizado para la velocidad y el bajo consumo de memoria, de modo que los rastreos de gran tamaño puedan evaluar millones de URL rápidamente. También se centra en la corrección: casos extremos como la superposición de patrones y la resolución de la coincidencia más larga se gestionan de forma consistente. Los consumidores la integran para decidir si una URL específica puede ser recuperada por un nombre de bot específico y para respetar las sugerencias de retraso de rastreo o mapas de sitio cuando corresponda. La biblioteca es compatible tanto con rastreadores de búsqueda como con herramientas más pequeñas que necesitan un motor de decisión fiable para un rastreo eficiente.
Caracteristicas
- Analizador y comparador rápido de reglas Permitir/No permitir
- Manejo correcto de comodines y precedencia de coincidencia más larga
- Secciones de reglas específicas del agente de usuario con alternativas razonables
- Evaluación de bajo consumo de recursos para rastreadores de alto rendimiento
- Compatibilidad con extensiones comunes como sugerencias de mapas del sitio
- Limpiar la API para verificar los permisos de obtención de URL por nombre de bot
Lenguaje de programación
C + +
Categorías
Esta aplicación también se puede descargar desde https://sourceforge.net/projects/robotstxt.mirror/. Está alojada en OnWorks para facilitar su ejecución en línea desde uno de nuestros sistemas operativos gratuitos.