This is the Linux app named RobotsDisallowed whose latest release can be downloaded as RobotsDisallowedsourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
OnWorks에서 무료로 RobotsDisallowed라는 앱을 다운로드하여 온라인에서 실행해보세요.
이 앱을 실행하려면 다음 지침을 따르세요.
- 1. 이 애플리케이션을 PC에 다운로드했습니다.
- 2. 파일 관리자 https://www.onworks.net/myfiles.php?username=XXXXX에 원하는 사용자 이름을 입력합니다.
- 3. 이러한 파일 관리자에서 이 응용 프로그램을 업로드합니다.
- 4. 이 웹사이트에서 OnWorks Linux 온라인 또는 Windows 온라인 에뮬레이터 또는 MACOS 온라인 에뮬레이터를 시작합니다.
- 5. 방금 시작한 OnWorks Linux OS에서 원하는 사용자 이름으로 파일 관리자 https://www.onworks.net/myfiles.php?username=XXXXX로 이동합니다.
- 6. 응용 프로그램을 다운로드하여 설치하고 실행합니다.
스크린 샷
Ad
로봇 금지
기술
RobotsDisallowed는 robots.txt 또는 관련 메커니즘에서 AI 및 웹 스크래핑 크롤러를 명시적으로 차단하는 웹사이트 및 조직을 추적하는 공개 카탈로그입니다. 이 카탈로그는 콘텐츠 소유자가 모델 학습 및 자동 수집을 위해 자신의 데이터가 사용되는 방식에 대한 통제권을 주장하는 추세가 증가하고 있음을 기록하는 데 중점을 둡니다. 이 프로젝트는 도메인을 집계하고, 대상 봇 또는 사용자 에이전트를 파악하며, 연구자, 정책 입안자, 도구 개발자를 위해 패턴을 제시합니다. 투명성 확보 노력의 일환으로, 그리고 자동 접근 허용/거부 전략을 설계하는 사람들을 위한 리소스 역할을 합니다. 이 데이터세트는 새로운 봇이 등장하고 정책이 변화함에 따라 최신 정보를 제공하기 위해 커뮤니티 기여를 유도합니다. 또한 사이트 소유자가 동의와 제한을 대규모로 구현하는 방식을 보여줌으로써 웹 표준, 윤리, AI 거버넌스의 교차점을 강조합니다.
기능
- AI 또는 스크래핑 봇을 허용하지 않는 도메인의 큐레이트된 목록
- 타겟 사용자 에이전트 및 차단 패턴 식별
- 정책 변경 사항을 반영한 커뮤니티 업데이트 데이터 세트
- 크롤링 인식 도구 연구자 및 개발자를 위한 참고 자료
- 데이터 사용 및 동의에 대한 진화하는 규범의 스냅샷
- 분석 및 재사용을 위한 가벼운 형식
카테고리
이 애플리케이션은 https://sourceforge.net/projects/robotsdisallowed.mirror/에서도 다운로드할 수 있습니다. OnWorks에 호스팅되어 무료 운영 체제 중 하나에서 가장 쉽게 온라인에서 실행할 수 있도록 설계되었습니다.
