هذا هو تطبيق Linux المسمى Scrapy-Redis والذي يمكن تنزيل أحدث إصدار له باعتباره Version0.7.1Released.zip. يمكن تشغيله عبر الإنترنت في مزود الاستضافة المجاني OnWorks لمحطات العمل.
قم بتنزيل وتشغيل هذا التطبيق المسمى Scrapy-Redis مع OnWorks عبر الإنترنت مجانًا.
اتبع هذه التعليمات لتشغيل هذا التطبيق:
- 1. قم بتنزيل هذا التطبيق على جهاز الكمبيوتر الخاص بك.
- 2. أدخل في مدير الملفات الخاص بنا https://www.onworks.net/myfiles.php؟username=XXXXX باسم المستخدم الذي تريده.
- 3. تحميل هذا التطبيق في هذا الملف.
- 4. ابدأ تشغيل OnWorks Linux عبر الإنترنت أو محاكي Windows عبر الإنترنت أو محاكي MACOS عبر الإنترنت من هذا الموقع.
- 5. من نظام تشغيل OnWorks Linux الذي بدأته للتو ، انتقل إلى مدير الملفات الخاص بنا https://www.onworks.net/myfiles.php؟username=XXXXX مع اسم المستخدم الذي تريده.
- 6. قم بتنزيل التطبيق وتثبيته وتشغيله.
SCREENSHOTS
Ad
سكرابى ريديس
الوصف
يمكنك بدء عدة مثيلات عنكبوتية تشترك في قائمة انتظار واحدة. أفضل ملاءمة لعمليات الزحف واسعة النطاق متعددة المجالات. يتم دفع العناصر المسردة إلى قائمة انتظار redis مما يعني أنه يمكنك بدء العديد من عمليات ما بعد المعالجة اللازمة لمشاركة قائمة انتظار العناصر. المجدول + عامل تصفية الازدواجية ، خط أنابيب العنصر ، العناكب الأساسية. الطلبات الافتراضية المتسلسلة هي pickle ، ولكن يمكن تغييرها إلى أي وحدة مع وظائف الأحمال والتفريغ. لاحظ أن المخلل غير متوافق بين إصدارات بايثون. قام الإصدار 0.3 بتغيير تسلسل الطلبات من marshal إلى cPickle ، وبالتالي لن تتمكن الطلبات المستمرة باستخدام الإصدار 0.2 من العمل على 0.3. يُمكّن الفصل scrapy_redis.spiders.RedisSpider العنكبوت من قراءة عناوين url من redis. ستتم معالجة عناوين url في قائمة انتظار redis واحدة تلو الأخرى ، إذا كان الطلب الأول ينتج المزيد من الطلبات ، فسيقوم العنكبوت بمعالجة هذه الطلبات قبل جلب عنوان url آخر من redis.
شرح المميزات:
- الزحف / الكشط الموزع
- توزيع المعالجة اللاحقة
- مكونات التوصيل والتشغيل Scrapy
- مطلوب Python 2.7 أو 3.4 أو 3.5
- Redis> = 2.8 مطلوب
- المجدول + عامل تصفية الازدواجية ، خط أنابيب العنصر ، العناكب الأساسية
لغة البرمجة
Python
هذا تطبيق يمكن جلبه أيضًا من https://sourceforge.net/projects/scrapy-redis.mirror/. تمت استضافته في OnWorks ليتم تشغيله عبر الإنترنت بأسهل طريقة من أحد أنظمتنا التشغيلية المجانية.
