זוהי אפליקציית לינוקס בשם Crawlab שניתן להוריד את המהדורה האחרונה שלה בתור v0.6.3.zip. ניתן להפעיל אותו באופן מקוון בספק האירוח החינמי OnWorks עבור תחנות עבודה.
הורד והפעל באינטרנט את האפליקציה הזו בשם Crawlab עם OnWorks בחינם.
בצע את ההוראות הבאות כדי להפעיל את האפליקציה הזו:
- 1. הורד את היישום הזה למחשב שלך.
- 2. הזן במנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש שאתה רוצה.
- 3. העלה את היישום הזה במנהל קבצים כזה.
- 4. הפעל את האמולטור המקוון של OnWorks Linux או Windows מקוון או אמולטור מקוון של MACOS מאתר זה.
- 5. ממערכת ההפעלה OnWorks Linux שזה עתה התחלת, עבור אל מנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש הרצוי.
- 6. הורד את האפליקציה, התקן אותה והפעל אותה.
בצילומי מסך
Ad
זחילה
תיאור
פלטפורמת ניהול סורק אינטרנט מבוזרת מבוססת Golang, התומכת בשפות שונות כולל Python, NodeJS, Go, Java, PHP ומסגרות שונות של סורק אינטרנט כולל Scrapy, Puppeteer, Selenium. אנא השתמש ב-docer-compose בלחיצה אחת כדי להתחיל. על ידי כך, אתה אפילו לא צריך להגדיר את מסד הנתונים של MongoDB. אפליקציית החזית מקיימת אינטראקציה עם צומת המאסטר, אשר מתקשר עם רכיבים אחרים כגון MongoDB, SeaweedFS וצמתי עבודה. צומת מאסטר וצמתי עבודה מתקשרים זה עם זה באמצעות gRPC (מסגרת RPC). משימות מתוזמנות על ידי מודול מתזמן המשימות בצומת הראשי, ומתקבלות על ידי מודול מטפל המשימות בצמתי עבודה, אשר מבצע את המשימות הללו ברצי משימות. רצי משימות הם למעשה תהליכים המריצים תוכניות עכביש או זחלנים, ויכולים גם לשלוח נתונים דרך gRPC (משולב ב-SDK) למקורות נתונים אחרים, למשל MongoDB.
תכונות
- תזמון משימות
- ניהול צומת עובדים ותקשורת
- פריסת עכביש
- Frontend ושירותי API
- ביצוע משימה (תוכל להתייחס לצומת המאסטר כצומת עובד)
- אינטגרציה עם מסגרות אחרות
שפת תכנות
Python, PHP, Java, Go
כל הקטגוריות
זוהי אפליקציה שניתן לשלוף גם מ-https://sourceforge.net/projects/crawlab.mirror/. זה התארח ב-OnWorks על מנת להפעיל אותו באינטרנט בצורה הקלה ביותר מאחת ממערכות ההפעלה החינמיות שלנו.
