Це програма для Linux під назвою Headless Chrome Crawler, останню версію якої можна завантажити як 1.8.0.zip. Його можна запустити в режимі онлайн за допомогою безкоштовного хостинг-провайдера OnWorks для робочих станцій.
Завантажте та запустіть онлайн цю програму під назвою Headless Chrome Crawler з OnWorks безкоштовно.
Дотримуйтесь цих інструкцій, щоб запустити цю програму:
- 1. Завантажив цю програму на свій ПК.
- 2. Введіть у наш файловий менеджер https://www.onworks.net/myfiles.php?username=XXXXX із потрібним ім'ям користувача.
- 3. Завантажте цю програму в такий файловий менеджер.
- 4. Запустіть онлайн-емулятор OnWorks Linux або Windows або онлайн-емулятор MACOS з цього веб-сайту.
- 5. З ОС OnWorks Linux, яку ви щойно запустили, перейдіть до нашого файлового менеджера https://www.onworks.net/myfiles.php?username=XXXXX з потрібним іменем користувача.
- 6. Завантажте програму, встановіть її та запустіть.
ЕКРАНИ
Ad
Безголовий Chrome Crawler
ОПИС
Сканери, засновані на простих запитах до файлів HTML, як правило, швидкі. Однак іноді це закінчується захопленням порожніх тіл, особливо коли веб-сайти побудовані на таких сучасних фронтенд-фреймворках, як AngularJS, React і Vue.js. Сканер на основі Headless Chrome надає прості API для сканування динамічних веб-сайтів. Підтримує як алгоритм пошуку в глибину, так і в ширину. Зберігайте знімки екрана для доказів сканування, емулюйте пристрої та користувацькі агенти, пріоритетну чергу для ефективності сканування, дотримуйтесь robots.txt тощо. Статичні сканери засновані на простих запитах до файлів HTML. Вони, як правило, швидкі, але не можуть очистити вміст, коли HTML динамічно змінюється у браузерах. Динамічні сканери на основі PhantomJS і Selenium чарівно працюють у таких динамічних програмах. Однак супроводжувач PhantomJS пішов у відставку і рекомендував перейти на Headless Chrome, який працює швидко та стабільно. Цей веб-сканер є динамічним і заснований на Headless Chrome.
риси
- Розподілене повзання
- Налаштуйте паралельність, затримку та повторіть спробу
- Підключаються кеш-сховища, такі як Redis
- Підтримка CSV і JSON рядків для експорту результатів
- Призупиняйте за максимальним запитом і відновлюйте в будь-який час
- Автоматично вставляти jQuery для скрейпінгу
Мова програмування
JavaScript
Це додаток, який також можна отримати з https://sourceforge.net/projects/headless-chrome-crawler.mirror/. Його розміщено в OnWorks, щоб його можна було запустити в Інтернеті найпростішим способом з однієї з наших безкоштовних операційних систем.
