Это приложение для Linux под названием Crawlee, последнюю версию которого можно загрузить как v3.5.8sourcecode.zip. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и бесплатно запустите онлайн это приложение под названием Crawlee с помощью OnWorks.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ
Ad
краулер
ОПИСАНИЕ
Crawlee — это библиотека веб-скрапинга и автоматизации браузера. Это поможет вам создать надежные сканеры. Быстрый. Crawlee не исправит за вас сломанные селекторы (пока), но поможет вам быстрее создавать и поддерживать ваши сканеры. Когда на веб-сайте добавляется рендеринг JavaScript, вам не нужно все переписывать, достаточно переключиться на один из сканеров браузера. Когда позже вы найдете отличный API для ускорения сканирования, верните переключатель обратно. Он поддерживает работоспособность ваших прокси, разумно вращая их с хорошими отпечатками пальцев, благодаря которым ваши сканеры выглядят как люди. Его невозможно заблокировать, но в долгосрочной перспективе это сэкономит вам деньги. Crawlee создан людьми, которые зарабатывают на жизнь парсингом и используют его каждый день для парсинга миллионов страниц. Познакомьтесь с нашим сообществом в Discord. Мы считаем, что веб-сайты лучше всего очищаются на том языке, на котором они написаны. Crawlee работает на Node.js и встроен в TypeScript для улучшения завершения кода в вашей IDE, даже если вы сами не используете TypeScript.
Особенности
- JavaScript и TypeScript
- HTTP-скрапинг
- Безголовые браузеры
- Автоматическое масштабирование и управление прокси
- Очередь и хранилище
- Полезные утилиты и возможности настройки
Язык программирования
Машинопись
Категории
Это приложение также можно загрузить с https://sourceforge.net/projects/crawlee.mirror/. Он размещен в OnWorks, чтобы его можно было проще запускать в Интернете из одной из наших бесплатных операционных систем.
