This is the Windows app named RobotsTxt whose latest release can be downloaded as robotstxtsourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Download and run online this app named RobotsTxt with OnWorks for free.
בצע את ההוראות הבאות כדי להפעיל את האפליקציה הזו:
- 1. הורד את היישום הזה למחשב שלך.
- 2. הזן במנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש שאתה רוצה.
- 3. העלה את היישום הזה במנהל קבצים כזה.
- 4. הפעל כל אמולטור מקוון של OS OnWorks מאתר זה, אך עדיף אמולטור מקוון של Windows.
- 5. ממערכת ההפעלה OnWorks Windows שזה עתה התחלת, עבור אל מנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש הרצוי.
- 6. הורד את האפליקציה והתקן אותה.
- 7. הורד את Wine ממאגרי התוכנה שלך להפצות לינוקס. לאחר ההתקנה, תוכל ללחוץ פעמיים על האפליקציה כדי להפעיל אותם עם Wine. אתה יכול גם לנסות את PlayOnLinux, ממשק מפואר מעל Wine שיעזור לך להתקין תוכניות ומשחקים פופולריים של Windows.
Wine היא דרך להפעיל תוכנת Windows על לינוקס, אך ללא צורך ב-Windows. Wine היא שכבת תאימות של Windows בקוד פתוח שיכולה להריץ תוכניות Windows ישירות על כל שולחן עבודה של לינוקס. בעיקרו של דבר, Wine מנסה להטמיע מחדש מספיק של Windows מאפס כדי שהוא יוכל להריץ את כל יישומי Windows מבלי להזדקק ל-Windows.
בצילומי מסך
Ad
רובוטיםטקסט
תיאור
This is a high-performance, production-tested library for parsing and evaluating robots.txt rules against crawler user agents. It implements the core semantics of the Robots Exclusion Protocol: user-agent sections, Allow/Disallow directives, wildcard handling, and precedence rules. The code is optimized for speed and low memory so large crawls can evaluate millions of URLs quickly. It also focuses on correctness—edge cases like overlapping patterns and longest-match resolution are handled consistently. Consumers integrate it to decide whether a specific URL may be fetched by a particular bot name and to respect crawl-delay or sitemaps hints where applicable. The library serves both search-scale crawlers and smaller tools that need a reliable decision engine for polite crawling.
תכונות
- Fast parser and matcher for Allow/Disallow rules
- Correct handling of wildcards and longest-match precedence
- User-agent specific rule sections with sensible fallbacks
- Low-overhead evaluation for high-throughput crawlers
- Support for common extensions like Sitemap hints
- Clear API to check URL fetch permissions per bot name
שפת תכנות
C + +
כל הקטגוריות
This is an application that can also be fetched from https://sourceforge.net/projects/robotstxt.mirror/. It has been hosted in OnWorks in order to be run online in an easiest way from one of our free Operative Systems.
