This is the Windows app named RobotsTxt whose latest release can be downloaded as robotstxtsourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Download en gebruik online gratis deze app genaamd RobotsTxt met OnWorks.
Volg deze instructies om deze app uit te voeren:
- 1. Download deze applicatie op uw pc.
- 2. Voer in onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX in met de gebruikersnaam die u wilt.
- 3. Upload deze applicatie in zo'n bestandsbeheerder.
- 4. Start een OS OnWorks online emulator vanaf deze website, maar een betere Windows online emulator.
- 5. Ga vanuit het OnWorks Windows-besturingssysteem dat u zojuist hebt gestart naar onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX met de gewenste gebruikersnaam.
- 6. Download de applicatie en installeer deze.
- 7. Download Wine van de softwarebronnen voor Linux-distributies. Eenmaal geïnstalleerd, kunt u vervolgens dubbelklikken op de app om ze met Wine uit te voeren. Je kunt ook PlayOnLinux proberen, een mooie interface via Wine waarmee je populaire Windows-programma's en -games kunt installeren.
Wine is een manier om Windows-software op Linux uit te voeren, maar zonder dat Windows vereist is. Wine is een open-source Windows-compatibiliteitslaag die Windows-programma's rechtstreeks op elke Linux-desktop kan uitvoeren. In wezen probeert Wine genoeg van Windows opnieuw te implementeren, zodat het al die Windows-applicaties kan draaien zonder Windows echt nodig te hebben.
SCREENSHOTS
Ad
RobotsTxt
PRODUCTBESCHRIJVING
Dit is een krachtige, in productie geteste bibliotheek voor het parseren en evalueren van robots.txt-regels ten opzichte van crawler user agents. De bibliotheek implementeert de kernsemantiek van het Robots Exclusion Protocol: user-agent-secties, Allow/Disallow-richtlijnen, verwerking van wildcards en precedentieregels. De code is geoptimaliseerd voor snelheid en weinig geheugen, zodat grote crawlers snel miljoenen URL's kunnen evalueren. De code richt zich ook op correctheid: randgevallen zoals overlappende patronen en de resolutie van de langste match worden consistent afgehandeld. Gebruikers integreren de bibliotheek om te bepalen of een specifieke URL door een bepaalde botnaam mag worden opgehaald en om crawlvertraging of sitemaphints te respecteren waar van toepassing. De bibliotheek is geschikt voor zowel crawlers op zoekschaal als kleinere tools die een betrouwbare beslissingsengine nodig hebben voor beleefd crawlen.
Kenmerken
- Snelle parser en matcher voor Allow/Disallow-regels
- Correcte verwerking van jokers en prioriteit van de langste overeenkomst
- Gebruikersagentspecifieke regelsecties met verstandige terugvalopties
- Evaluatie van lage overhead voor crawlers met hoge doorvoer
- Ondersteuning voor veelgebruikte extensies zoals Sitemap-hints
- API wissen om URL-ophaalrechten per botnaam te controleren
Programmeertaal
C + +
Categorieën
Deze applicatie kan ook worden gedownload van https://sourceforge.net/projects/robotstxt.mirror/. Deze is gehost in OnWorks, zodat deze eenvoudig online kan worden uitgevoerd via een van onze gratis besturingssystemen.
