This is the Windows app named RobotsTxt whose latest release can be downloaded as robotstxtsourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Загрузите и запустите онлайн бесплатно это приложение под названием RobotsTxt с OnWorks.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите любой онлайн-эмулятор OS OnWorks с этого сайта, но лучше онлайн-эмулятор Windows.
- 5. В только что запущенной ОС Windows OnWorks перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение и установите его.
- 7. Загрузите Wine из репозиториев программного обеспечения вашего дистрибутива Linux. После установки вы можете дважды щелкнуть приложение, чтобы запустить его с помощью Wine. Вы также можете попробовать PlayOnLinux, необычный интерфейс поверх Wine, который поможет вам установить популярные программы и игры для Windows.
Wine - это способ запустить программное обеспечение Windows в Linux, но без Windows. Wine - это уровень совместимости с Windows с открытым исходным кодом, который может запускать программы Windows непосредственно на любом рабочем столе Linux. По сути, Wine пытается заново реализовать Windows с нуля, чтобы можно было запускать все эти Windows-приложения, фактически не нуждаясь в Windows.
СКРИНШОТЫ
Ad
РоботыTxt
ОПИСАНИЕ
Это высокопроизводительная, протестированная в производственной среде библиотека для анализа и оценки правил robots.txt в отношении пользовательских агентов поисковых роботов. Она реализует основную семантику протокола исключения роботов: разделы пользовательских агентов, директивы Allow/Disallow, обработку подстановочных знаков и правила приоритета. Код оптимизирован для скорости и экономии памяти, что позволяет быстро обрабатывать миллионы URL-адресов при больших объёмах сканирования. Она также ориентирована на корректность — пограничные случаи, такие как перекрывающиеся шаблоны и разрешение по максимальному соответствию, обрабатываются согласованно. Потребители интегрируют её, чтобы определить, может ли конкретный URL-адрес быть загружен ботом с заданным именем, и учитывать задержку сканирования или подсказки в картах сайта, где это применимо. Библиотека подходит как для поисковых роботов, так и для небольших инструментов, которым требуется надёжный механизм принятия решений для «вежливого» сканирования.
Особенности
- Быстрый парсер и сопоставитель правил «Разрешить/Запретить»
- Правильная обработка подстановочных знаков и приоритета наибольшего совпадения
- Разделы правил, специфичные для пользовательского агента, с разумными откатами
- Оценка с низкими накладными расходами для высокопроизводительных сканеров
- Поддержка распространенных расширений, таких как подсказки Sitemap
- Очистить API для проверки разрешений на извлечение URL-адресов по имени бота
Язык программирования
C + +
Категории
Это приложение также можно скачать по адресу https://sourceforge.net/projects/robotstxt.mirror/. Оно размещено на платформе OnWorks для максимально удобного запуска онлайн через одну из наших бесплатных операционных систем.
