এটি Scrapy-Redis নামের উইন্ডোজ অ্যাপ যার সর্বশেষ রিলিজটি Version0.7.1Released.zip হিসেবে ডাউনলোড করা যেতে পারে। এটি ওয়ার্কস্টেশনের জন্য বিনামূল্যের হোস্টিং প্রদানকারী OnWorks-এ অনলাইনে চালানো যেতে পারে।
স্ক্র্যাপি-রেডিস নামের এই অ্যাপটি অনওয়ার্কস সহ বিনামূল্যে অনলাইনে ডাউনলোড করুন এবং চালান।
এই অ্যাপটি চালানোর জন্য এই নির্দেশাবলী অনুসরণ করুন:
- 1. আপনার পিসিতে এই অ্যাপ্লিকেশনটি ডাউনলোড করুন৷
- 2. আমাদের ফাইল ম্যানেজারে প্রবেশ করুন https://www.onworks.net/myfiles.php?username=XXXXX আপনি যে ইউজারনেম চান।
- 3. এই ধরনের ফাইল ম্যানেজারে এই অ্যাপ্লিকেশনটি আপলোড করুন।
- 4. এই ওয়েবসাইট থেকে যেকোনো OS OnWorks অনলাইন এমুলেটর শুরু করুন, তবে আরও ভালো উইন্ডোজ অনলাইন এমুলেটর।
- 5. OnWorks Windows OS থেকে আপনি এইমাত্র শুরু করেছেন, আমাদের ফাইল ম্যানেজারে যান https://www.onworks.net/myfiles.php?username=XXXXX আপনার পছন্দের ব্যবহারকারীর নাম সহ।
- 6. অ্যাপ্লিকেশনটি ডাউনলোড করুন এবং এটি ইনস্টল করুন।
- 7. আপনার লিনাক্স ডিস্ট্রিবিউশন সফ্টওয়্যার সংগ্রহস্থল থেকে ওয়াইন ডাউনলোড করুন। একবার ইনস্টল হয়ে গেলে, আপনি ওয়াইন দিয়ে চালানোর জন্য অ্যাপটিতে ডাবল-ক্লিক করতে পারেন। এছাড়াও আপনি PlayOnLinux ব্যবহার করে দেখতে পারেন, ওয়াইনের উপর একটি অভিনব ইন্টারফেস যা আপনাকে জনপ্রিয় উইন্ডোজ প্রোগ্রাম এবং গেম ইনস্টল করতে সাহায্য করবে।
ওয়াইন লিনাক্সে উইন্ডোজ সফ্টওয়্যার চালানোর একটি উপায়, কিন্তু কোন উইন্ডোজ প্রয়োজন নেই। ওয়াইন হল একটি ওপেন সোর্স উইন্ডোজ সামঞ্জস্যপূর্ণ স্তর যা সরাসরি যেকোনো লিনাক্স ডেস্কটপে উইন্ডোজ প্রোগ্রাম চালাতে পারে। মূলত, ওয়াইন স্ক্র্যাচ থেকে পর্যাপ্ত উইন্ডোজ পুনরায় প্রয়োগ করার চেষ্টা করছে যাতে এটি আসলে উইন্ডোজের প্রয়োজন ছাড়াই সেই সমস্ত উইন্ডোজ অ্যাপ্লিকেশন চালাতে পারে।
স্ক্রিনশট:
স্ক্র্যাপি-রেডিস
বর্ণনাঃ
আপনি একাধিক মাকড়সার উদাহরণ শুরু করতে পারেন যা একটি একক রেডিস সারি ভাগ করে। বিস্তৃত মাল্টি-ডোমেন ক্রলগুলির জন্য সবচেয়ে উপযুক্ত। স্ক্র্যাপ করা আইটেমগুলি একটি রেডিস সারিতে ঠেলে দেওয়া হয় যার অর্থ আপনি আইটেম সারিতে ভাগ করে যতগুলি প্রয়োজন পোস্ট-প্রসেসিং প্রক্রিয়া শুরু করতে পারেন। শিডিউলার + ডুপ্লিকেশন ফিল্টার, আইটেম পাইপলাইন, বেস স্পাইডার। ডিফল্ট অনুরোধ সিরিয়ালাইজার আচার, কিন্তু এটি লোড এবং ডাম্প ফাংশন সহ যেকোনো মডিউলে পরিবর্তন করা যেতে পারে। মনে রাখবেন যে আচার পাইথন সংস্করণগুলির মধ্যে সামঞ্জস্যপূর্ণ নয়। সংস্করণ 0.3 অনুরোধের ক্রমিককরণ মার্শাল থেকে cPickle এ পরিবর্তন করেছে, তাই সংস্করণ 0.2 ব্যবহার করে অব্যাহত অনুরোধ 0.3 এ কাজ করতে পারবে না। শ্রেণী scrapy_redis.spiders.RedisSpider একটি মাকড়সাকে redis থেকে url পড়তে সক্ষম করে। রেডিস সারিতে থাকা ইউআরএলগুলি একের পর এক প্রক্রিয়া করা হবে, যদি প্রথম অনুরোধটি আরও অনুরোধ দেয়, তবে রেডিস থেকে অন্য ইউআরএল আনার আগে স্পাইডার সেই অনুরোধগুলি প্রক্রিয়া করবে।
বৈশিষ্ট্য
- বিতরণ করা ক্রলিং/স্ক্র্যাপিং
- বিতরণ পোস্ট-প্রসেসিং
- স্ক্র্যাপি প্লাগ-এন্ড-প্লে উপাদান
- Python 2.7, 3.4 বা 3.5 আবশ্যক
- Redis >= 2.8 প্রয়োজন
- শিডিউলার + ডুপ্লিকেশন ফিল্টার, আইটেম পাইপলাইন, বেস স্পাইডার
প্রোগ্রামিং ভাষা
পাইথন
এটি একটি অ্যাপ্লিকেশন যা https://sourceforge.net/projects/scrapy-redis.mirror/ থেকেও আনা যেতে পারে। আমাদের বিনামূল্যের অপারেটিভ সিস্টেমগুলির মধ্যে একটি থেকে সবচেয়ে সহজ উপায়ে অনলাইনে চালানোর জন্য এটি OnWorks-এ হোস্ট করা হয়েছে।