최신 릴리스를 1.8.0.zip으로 다운로드할 수 있는 Headless Chrome Crawler라는 Linux 앱입니다. 워크스테이션용 무료 호스팅 제공업체인 OnWorks에서 온라인으로 실행할 수 있습니다.
OnWorks와 함께 Headless Chrome Crawler라는 이 앱을 무료로 다운로드하여 온라인에서 실행하십시오.
이 앱을 실행하려면 다음 지침을 따르세요.
- 1. 이 애플리케이션을 PC에 다운로드했습니다.
- 2. 파일 관리자 https://www.onworks.net/myfiles.php?username=XXXXX에 원하는 사용자 이름을 입력합니다.
- 3. 이러한 파일 관리자에서 이 응용 프로그램을 업로드합니다.
- 4. 이 웹사이트에서 OnWorks Linux 온라인 또는 Windows 온라인 에뮬레이터 또는 MACOS 온라인 에뮬레이터를 시작합니다.
- 5. 방금 시작한 OnWorks Linux OS에서 원하는 사용자 이름으로 파일 관리자 https://www.onworks.net/myfiles.php?username=XXXXX로 이동합니다.
- 6. 응용 프로그램을 다운로드하여 설치하고 실행합니다.
스크린 샷
Ad
헤드리스 크롬 크롤러
기술
HTML 파일에 대한 단순 요청을 기반으로 하는 크롤러는 일반적으로 빠릅니다. 그러나 웹 사이트가 AngularJS, React 및 Vue.js와 같은 최신 프런트엔드 프레임워크에 구축된 경우 특히 빈 본문을 캡처하는 경우가 있습니다. Headless Chrome으로 구동되는 크롤러는 동적 웹사이트를 크롤링하기 위한 간단한 API를 제공합니다. 깊이 우선 검색과 너비 우선 검색 알고리즘을 모두 지원합니다. 크롤링 증거를 위한 스크린샷 저장, 장치 및 사용자 에이전트 에뮬레이션, 크롤링 효율성을 위한 우선순위 대기열, robots.txt 준수 등. 정적 크롤러는 HTML 파일에 대한 단순 요청을 기반으로 합니다. 일반적으로 빠르지만 HTML이 브라우저에서 동적으로 변경될 때 콘텐츠 스크랩에 실패합니다. PhantomJS 및 Selenium을 기반으로 하는 동적 크롤러는 이러한 동적 애플리케이션에서 마술처럼 작동합니다. 그러나 PhantomJS의 관리자는 물러나고 빠르고 안정적인 Headless Chrome으로 전환할 것을 권장했습니다. 이 크롤러는 동적이며 Headless Chrome을 기반으로 합니다.
특징
- 분산 크롤링
- 동시성, 지연 및 재시도 구성
- Redis와 같은 플러그형 캐시 스토리지
- 결과 내보내기를 위한 CSV 및 JSON 라인 지원
- 최대 요청 시 일시 중지하고 언제든지 재개
- 스크래핑을 위해 자동으로 jQuery 삽입
프로그래밍 언어
자바 스크립트
이것은 https://sourceforge.net/projects/headless-chrome-crawler.mirror/에서도 가져올 수 있는 애플리케이션입니다. 무료 운영 체제 중 하나에서 가장 쉬운 방법으로 온라인으로 실행하기 위해 OnWorks에서 호스팅되었습니다.
