Este é o aplicativo Linux chamado RobotsTxt, cuja versão mais recente pode ser baixada como robotstxtsourcecode.tar.gz. Ele pode ser executado online no provedor de hospedagem gratuita OnWorks para estações de trabalho.
Baixe e execute online este aplicativo chamado RobotsTxt com OnWorks gratuitamente.
Siga estas instruções para executar este aplicativo:
- 1. Baixe este aplicativo em seu PC.
- 2. Entre em nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que você deseja.
- 3. Carregue este aplicativo em tal gerenciador de arquivos.
- 4. Inicie o emulador OnWorks Linux online ou Windows online ou emulador MACOS online a partir deste site.
- 5. No sistema operacional OnWorks Linux que você acabou de iniciar, acesse nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que deseja.
- 6. Baixe o aplicativo, instale-o e execute-o.
CAPTURAS DE TELA:
RobotsTxt
DESCRIÇÃO:
Esta é uma biblioteca de alto desempenho, testada em produção, para analisar e avaliar regras robots.txt em relação a agentes de usuário de rastreadores. Ela implementa a semântica central do Protocolo de Exclusão de Robôs: seções de agente de usuário, diretivas Allow/Disallow, tratamento de curingas e regras de precedência. O código é otimizado para velocidade e baixo consumo de memória, permitindo que rastreamentos extensos avaliem milhões de URLs rapidamente. Ela também se concentra na correção — casos extremos, como padrões sobrepostos e resolução de correspondência mais longa, são tratados de forma consistente. Os consumidores a integram para decidir se uma URL específica pode ser buscada por um nome de bot específico e para respeitar as dicas de atraso de rastreamento ou de mapas de sites, quando aplicável. A biblioteca atende tanto rastreadores em escala de pesquisa quanto ferramentas menores que precisam de um mecanismo de decisão confiável para rastreamentos discretos.
Recursos
- Analisador e comparador rápido para regras de permissão/não permissão
- Manuseio correto de curingas e precedência de correspondência mais longa
- Seções de regras específicas do agente do usuário com alternativas sensatas
- Avaliação de baixa sobrecarga para rastreadores de alto rendimento
- Suporte para extensões comuns, como dicas do Sitemap
- API limpa para verificar permissões de busca de URL por nome de bot
Linguagem de Programação
C + +
Categorias
Este é um aplicativo que também pode ser obtido em https://sourceforge.net/projects/robotstxt.mirror/. Ele foi hospedado no OnWorks para ser executado online da maneira mais fácil em um de nossos sistemas operacionais gratuitos.