זוהי אפליקציית לינוקס בשם sparkmagic, שאת הגרסה האחרונה שלה ניתן להוריד כ- 0.23.0sourcecode.tar.gz. ניתן להריץ אותה באופן מקוון בספק האירוח החינמי OnWorks לתחנות עבודה.
הורד והפעל אונליין את האפליקציה הזו בשם sparkmagic עם OnWorks בחינם.
בצע את ההוראות הבאות כדי להפעיל את האפליקציה הזו:
- 1. הורד את היישום הזה למחשב שלך.
- 2. הזן במנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש שאתה רוצה.
- 3. העלה את היישום הזה במנהל קבצים כזה.
- 4. הפעל את האמולטור המקוון של OnWorks Linux או Windows מקוון או אמולטור מקוון של MACOS מאתר זה.
- 5. ממערכת ההפעלה OnWorks Linux שזה עתה התחלת, עבור אל מנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש הרצוי.
- 6. הורד את האפליקציה, התקן אותה והפעל אותה.
צילומי מסך:
sparkmagic
תיאור:
Sparkmagic היא קבוצת כלים לעבודה אינטראקטיבית עם אשכולות Spark מרוחקים במחברות Jupyter. Sparkmagic מקיים אינטראקציה עם אשכולות Spark מרוחקים דרך שרת REST. ויזואליזציה אוטומטית של שאילתות SQL בליבות PySpark, Spark ו-SparkR; שימוש בממשק ויזואלי קל לבנייה אינטראקטיבית של ויזואליזציות, ללא צורך בקוד. יכולת ללכוד את הפלט של שאילתות SQL כמסגרות נתונים של Pandas כדי לקיים אינטראקציה עם ספריות Python אחרות (למשל matplotlib). שליחת קבצים מקומיים או מסגרות נתונים לאשכול מרוחק (למשל שליחת מודל ML מקומי שאומן מראש ישירות לאשכול Spark). אימות ל-Livy באמצעות אימות Basic Access או דרך Kerberos.
תכונות
- להפעלת מפגשים אינטראקטיביים ב-Yarn
- להרצת מפגשים אינטראקטיביים ב-Yarn או Kubernetes (רק מפגשי PySpark נתמכים)
- להפעלת מפגשים אינטראקטיביים ב-Yarn או Kubernetes
- פרויקט Sparkmagic כולל סט של קסמים להרצת קוד Spark באופן אינטראקטיבי במספר שפות.
- הפעלת קוד Spark במספר שפות כנגד כל אשכול Spark מרוחק דרך Livy
- יצירה אוטומטית של SparkContext (sc) ו-HiveContext (sqlContext)
- בצע בקלות שאילתות SparkSQL בעזרת הקסם %%sql
שפת תכנות
פיתון
כל הקטגוריות
זוהי אפליקציה שניתן להוריד גם מאתר https://sourceforge.net/projects/sparkmagic.mirror/. היא אוחסנה ב-OnWorks על מנת שניתן יהיה להפעיל אותה באופן מקוון בצורה הקלה ביותר מאחת ממערכות ההפעלה החינמיות שלנו.