To jest aplikacja dla systemu Linux o nazwie pyspider, której najnowszą wersję można pobrać jako v0.3.10.zip. Można go uruchomić online w darmowym dostawcy usług hostingowych OnWorks dla stacji roboczych.
Pobierz i uruchom online tę aplikację o nazwie pyspider z OnWorks za darmo.
Postępuj zgodnie z tymi instrukcjami, aby uruchomić tę aplikację:
- 1. Pobrałem tę aplikację na swój komputer.
- 2. Wpisz w naszym menedżerze plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 3. Prześlij tę aplikację w takim menedżerze plików.
- 4. Uruchom emulator online OnWorks Linux lub Windows online lub emulator online MACOS z tej witryny.
- 5. W systemie operacyjnym OnWorks Linux, który właśnie uruchomiłeś, przejdź do naszego menedżera plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 6. Pobierz aplikację, zainstaluj ją i uruchom.
ZRZUTY EKRANU
Ad
pająk
OPIS
pyspider to potężny system Spider (Web Crawler) w Pythonie. Komponenty są połączone kolejką komunikatów. Każdy komponent, w tym kolejka komunikatów, działa we własnym procesie/wątku i można go wymienić. Oznacza to, że gdy proces jest powolny, można mieć wiele wystąpień procesora i w pełni wykorzystywać wiele procesorów lub wdrażać na wielu komputerach. Ta architektura sprawia, że pyspider jest naprawdę szybki. testy porównawcze. Ponieważ pyspider ma różne komponenty, możesz po prostu uruchomić pyspider, aby uruchomić samodzielną i trzecią bezobsługową instancję. Lub użyj MySQL lub MongoDB i RabbitMQ do wdrożenia rozproszonego klastra indeksowania. Aby wdrożyć pyspider w środowisku produktu, uruchomienie komponentu w każdym procesie i przechowywanie danych w usłudze bazy danych jest bardziej niezawodne i elastyczne. Aby wdrożyć komponenty pyspider w każdym pojedynczym procesie, potrzebujesz co najmniej jednej usługi bazy danych. pyspider obsługuje teraz MySQL, MongoDB i PostgreSQL. Możesz wybrać jedną z nich.
Korzyści
- Napisz skrypt w Pythonie
- Potężny WebUI z edytorem skryptów, monitorem zadań, menedżerem projektu i przeglądarką wyników
- MySQL, MongoDB, Redis, SQLite, Elasticsearch; PostgreSQL z SQLAlchemy jako zapleczem bazy danych
- RabbitMQ, Beanstalk, Redis i Kombu jako kolejka komunikatów
- Priorytet zadania, ponawianie, okresowo, ponowne indeksowanie według wieku itp.
- Architektura rozproszona, indeksowanie stron Javascript, Python 2 i 3 itp.
Język programowania
Python
Kategorie
Jest to aplikacja, którą można również pobrać z https://sourceforge.net/projects/pyspider.mirror/. Został umieszczony w OnWorks, aby można go było uruchomić online w najprostszy sposób z jednego z naszych bezpłatnych systemów operacyjnych.
