Esta es la aplicación de Linux llamada Crawlab cuya última versión se puede descargar como v0.6.3.zip. Se puede ejecutar en línea en el proveedor de alojamiento gratuito OnWorks para estaciones de trabajo.
Descargue y ejecute en línea esta aplicación llamada Crawlab con OnWorks de forma gratuita.
Siga estas instrucciones para ejecutar esta aplicación:
- 1. Descargue esta aplicación en su PC.
- 2. Ingrese en nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 3. Cargue esta aplicación en dicho administrador de archivos.
- 4. Inicie el emulador en línea OnWorks Linux o Windows en línea o el emulador en línea MACOS desde este sitio web.
- 5. Desde el SO OnWorks Linux que acaba de iniciar, vaya a nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 6. Descarga la aplicación, instálala y ejecútala.
SCREENSHOTS
Ad
laboratorio de rastreo
DESCRIPCIÓN
Plataforma de administración de rastreadores web distribuidos basada en Golang, que admite varios lenguajes, incluidos Python, NodeJS, Go, Java, PHP y varios marcos de trabajo de rastreadores web, incluidos Scrapy, Puppeteer, Selenium. Utilice docker-compose para iniciar con un solo clic. Al hacerlo, ni siquiera tiene que configurar la base de datos MongoDB. La aplicación frontend interactúa con el nodo maestro, que se comunica con otros componentes como MongoDB, SeaweedFS y nodos de trabajo. El nodo maestro y los nodos trabajadores se comunican entre sí a través de gRPC (un marco RPC). Las tareas son programadas por el módulo del programador de tareas en el nodo principal y recibidas por el módulo del controlador de tareas en los nodos trabajadores, que ejecuta estas tareas en los ejecutores de tareas. Los ejecutores de tareas son en realidad procesos que ejecutan programas spider o crawler, y también pueden enviar datos a través de gRPC (integrado en SDK) a otras fuentes de datos, por ejemplo, MongoDB.
Caracteristicas
- Programación de tareas
- Gestión y comunicación de nodos trabajadores
- Despliegue de araña
- Servicios de interfaz y API
- Ejecución de tareas (puede considerar el nodo maestro como un nodo trabajador)
- Integración con otros marcos
Lenguaje de programación
Python, PHP, Java, Ir
Categorías
Esta es una aplicación que también se puede obtener de https://sourceforge.net/projects/crawlab.mirror/. Ha sido alojado en OnWorks para poder ejecutarse online de la forma más sencilla desde uno de nuestros Sistemas Operativos gratuitos.
