Jest to aplikacja Windows o nazwie Scrapy-Redis, której najnowszą wersję można pobrać jako Version0.7.1Released.zip. Można go uruchomić online w darmowym dostawcy hostingu OnWorks dla stacji roboczych.
Pobierz i uruchom online tę aplikację o nazwie Scrapy-Redis z OnWorks za darmo.
Postępuj zgodnie z tymi instrukcjami, aby uruchomić tę aplikację:
- 1. Pobrałem tę aplikację na swój komputer.
- 2. Wpisz w naszym menedżerze plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 3. Prześlij tę aplikację w takim menedżerze plików.
- 4. Uruchom dowolny emulator online systemu operacyjnego OnWorks z tej witryny, ale lepszy emulator online systemu Windows.
- 5. W systemie operacyjnym OnWorks Windows, który właśnie uruchomiłeś, przejdź do naszego menedżera plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 6. Pobierz aplikację i zainstaluj ją.
- 7. Pobierz Wine z repozytoriów oprogramowania dystrybucji Linuksa. Po zainstalowaniu możesz dwukrotnie kliknąć aplikację, aby uruchomić ją za pomocą Wine. Możesz także wypróbować PlayOnLinux, fantazyjny interfejs w Wine, który pomoże Ci zainstalować popularne programy i gry Windows.
Wine to sposób na uruchamianie oprogramowania Windows w systemie Linux, ale bez systemu Windows. Wine to warstwa kompatybilności z systemem Windows typu open source, która może uruchamiać programy systemu Windows bezpośrednio na dowolnym pulpicie systemu Linux. Zasadniczo Wine próbuje ponownie zaimplementować system Windows od podstaw, aby mógł uruchamiać wszystkie te aplikacje Windows bez faktycznego korzystania z systemu Windows.
ZRZUTY EKRANU
Ad
Scrapy-Redis
OPIS
Możesz uruchomić wiele instancji pająków, które współużytkują jedną kolejkę redis. Najlepiej nadaje się do szerokiego indeksowania wielu domen. Zeskrobane elementy są umieszczane w kolejce redis, co oznacza, że można uruchomić tyle procesów przetwarzania końcowego, ile potrzeba, współdzieląc kolejkę elementów. Harmonogram + filtr powielania, potok pozycji, pająki bazowe. Domyślnym serializatorem żądań jest pickle, ale można go zmienić na dowolny moduł z funkcjami ładowania i zrzutów. Zauważ, że pickle nie jest kompatybilny między wersjami Pythona. Wersja 0.3 zmieniła serializację żądań z marshal na cPickle, dlatego utrwalone żądania używające wersji 0.2 nie będą mogły działać na 0.3. Klasa scrapy_redis.spiders.RedisSpider umożliwia pająkowi odczytywanie adresów URL z redis. Adresy URL w kolejce redis będą przetwarzane jeden po drugim, jeśli pierwsze żądanie przyniesie więcej żądań, pająk przetworzy te żądania przed pobraniem kolejnego adresu URL z redis.
Korzyści
- Rozproszone indeksowanie/skrobanie
- Rozproszone przetwarzanie końcowe
- Nierówne komponenty typu plug-and-play
- Wymagany Python 2.7, 3.4 lub 3.5
- Redis >= 2.8 wymagane
- Harmonogram + filtr powielania, potok pozycji, pająki bazowe
Język programowania
Python
Jest to aplikacja, którą można również pobrać z https://sourceforge.net/projects/scrapy-redis.mirror/. Jest hostowany w OnWorks, aby można go było uruchomić online w najprostszy sposób z jednego z naszych bezpłatnych systemów operacyjnych.
