Đây là ứng dụng Linux có tên pyspider có bản phát hành mới nhất có thể được tải xuống dưới dạng v0.3.10.zip. Nó có thể được chạy trực tuyến trong nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng có tên pyspider này với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH
Ad
con trăn
MÔ TẢ
pyspider là một hệ thống Spider (Trình thu thập thông tin web) mạnh mẽ bằng Python. Các thành phần được kết nối với nhau bằng hàng đợi tin nhắn. Mọi thành phần, bao gồm hàng đợi tin nhắn, đang chạy trong tiến trình / luồng của riêng chúng và có thể thay thế được. Điều đó có nghĩa là, khi quá trình diễn ra chậm, bạn có thể có nhiều phiên bản của bộ xử lý và sử dụng đầy đủ nhiều CPU hoặc triển khai cho nhiều máy. Kiến trúc này làm cho pyspider thực sự nhanh chóng. điểm chuẩn. Vì pyspider có nhiều thành phần khác nhau, bạn chỉ có thể chạy pyspider để bắt đầu phiên bản dịch vụ thứ ba và độc lập. Hoặc sử dụng MySQL hoặc MongoDB và RabbitMQ để triển khai một cụm thu thập thông tin phân tán. Để triển khai pyspider trong môi trường sản phẩm, việc chạy thành phần trong từng quy trình và lưu trữ dữ liệu trong dịch vụ cơ sở dữ liệu là đáng tin cậy và linh hoạt hơn. Để triển khai các thành phần pyspider trong mỗi quy trình đơn lẻ, bạn cần ít nhất một dịch vụ cơ sở dữ liệu. pyspider hiện hỗ trợ MySQL, MongoDB và PostgreSQL. Bạn có thể chọn một trong số chúng.
Tính năng
- Viết script bằng Python
- WebUI mạnh mẽ với trình chỉnh sửa tập lệnh, giám sát tác vụ, quản lý dự án và trình xem kết quả
- MySQL, MongoDB, Redis, SQLite, Elasticsearch; PostgreSQL với SQLAlchemy làm chương trình phụ trợ cơ sở dữ liệu
- RabbitMQ, Beanstalk, Redis và Kombu dưới dạng hàng đợi tin nhắn
- Ưu tiên công việc, thử lại, định kỳ, thu thập lại thông tin theo độ tuổi, v.v.
- Kiến trúc phân tán, Thu thập thông tin các trang Javascript, Python 2 & 3, v.v.
Ngôn ngữ lập trình
Python
Danh Mục
Đây là một ứng dụng cũng có thể được tìm nạp từ https://sourceforge.net/projects/pyspider.mirror/. Nó đã được lưu trữ trên OnWorks để có thể chạy trực tuyến một cách dễ dàng nhất từ một trong những Hệ thống hoạt động miễn phí của chúng tôi.
