این یک برنامه لینوکس به نام sparkmagic است که آخرین نسخه آن را می‌توانید با عنوان 0.23.0sourcecode.tar.gz دانلود کنید. می‌توانید آن را به صورت آنلاین در ارائه دهنده میزبانی وب رایگان OnWorks برای ایستگاه‌های کاری اجرا کنید.
این برنامه با نام sparkmagic را با OnWorks به صورت رایگان دانلود و آنلاین اجرا کنید.
برای اجرای این برنامه این دستورالعمل ها را دنبال کنید:
- 1. این برنامه را در رایانه شخصی خود دانلود کنید.
- 2. در فایل منیجر ما https://www.onworks.net/myfiles.php?username=XXXXX نام کاربری مورد نظر خود را وارد کنید.
- 3. این برنامه را در چنین فایل منیجر آپلود کنید.
- 4. OnWorks Linux آنلاین یا شبیه ساز آنلاین ویندوز یا شبیه ساز آنلاین MACOS را از این وب سایت راه اندازی کنید.
- 5. از سیستم عامل لینوکس OnWorks که به تازگی راه اندازی کرده اید، به مدیر فایل ما https://www.onworks.net/myfiles.php?username=XXXXX با نام کاربری که می خواهید بروید.
- 6. اپلیکیشن را دانلود کرده، نصب و اجرا کنید.
اسکرین شات ها:
جادوی جرقه
DESCRIPTION:
Sparkmagic مجموعه‌ای از ابزارها برای کار تعاملی با خوشه‌های Spark از راه دور در Jupyter notebooks است. Sparkmagic از طریق یک سرور REST با خوشه‌های Spark از راه دور تعامل می‌کند. تجسم خودکار کوئری‌های SQL در هسته‌های PySpark، Spark و SparkR؛ استفاده از یک رابط بصری آسان برای ساخت تعاملی تجسم‌ها، بدون نیاز به کد. قابلیت ضبط خروجی کوئری‌های SQL به عنوان فریم‌های داده Pandas برای تعامل با سایر کتابخانه‌های پایتون (به عنوان مثال matplotlib). ارسال فایل‌ها یا فریم‌های داده محلی به یک خوشه از راه دور (به عنوان مثال ارسال مدل یادگیری ماشین محلی از پیش آموزش دیده مستقیماً به خوشه Spark). احراز هویت در Livy از طریق احراز هویت Basic Access یا از طریق Kerberos.
امکانات
- برای اجرای جلسات تعاملی روی Yarn
- برای اجرای جلسات تعاملی در Yarn یا Kubernetes (فقط جلسات PySpark پشتیبانی می‌شوند)
- برای اجرای جلسات تعاملی روی Yarn یا Kubernetes
- پروژه Sparkmagic شامل مجموعه‌ای از جادوها برای اجرای تعاملی کد Spark به چندین زبان است.
- اجرای کد اسپارک به چندین زبان در هر کلاستر اسپارک از راه دور از طریق Livy
- ایجاد خودکار SparkContext (sc) و HiveContext (sqlContext)
- اجرای آسان کوئری‌های SparkSQL با جادوی %%sql
زبان برنامه نویسی
پــایتــون
دسته بندی ها
این برنامه‌ای است که می‌توان آن را از https://sourceforge.net/projects/sparkmagic.mirror/ نیز دریافت کرد. این برنامه در OnWorks میزبانی شده است تا بتوان آن را به ساده‌ترین روش به صورت آنلاین از یکی از سیستم‌های عامل رایگان ما اجرا کرد.