这是名为 sparkmagic 的 Linux 应用，其最新版本可下载为 0.23.0sourcecode.tar.gz。它可在免费的工作站托管服务提供商 OnWorks 上在线运行。
使用 OnWorks 免费下载并在线运行这个名为 sparkmagic 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
截图：
火花魔法
描述：
Sparkmagic 是一套用于在 Jupyter 笔记本中与远程 Spark 集群进行交互的工具。Sparkmagic 通过 REST 服务器与远程 Spark 集群交互。它能够在 PySpark、Spark 和 SparkR 内核中自动可视化 SQL 查询；使用简单的可视化界面以交互方式构建可视化效果，无需任何代码。能够将 SQL 查询的输出捕获为 Pandas 数据框，以便与其他 Python 库（例如 matplotlib）交互。将本地文件或数据框发送到远程集群（例如，将预训练的本地 ML 模型直接发送到 Spark 集群）。通过基本访问身份验证或 Kerberos 向 Livy 进行身份验证。
特性
- 用于在 Yarn 上运行交互式会话
- 用于在 Yarn 或 Kubernetes 上运行交互式会话（仅支持 PySpark 会话）
- 用于在 Yarn 或 Kubernetes 上运行交互式会话
- Sparkmagic 项目包含一组用于以多种语言交互运行 Spark 代码的魔法
- 通过 Livy 针对任何远程 Spark 集群以多种语言运行 Spark 代码
- 自动创建 SparkContext (sc) 和 HiveContext (sqlContext)
- 使用 %%sql magic 轻松执行 SparkSQL 查询
程式语言
Python
分类
此应用程序也可从 https://sourceforge.net/projects/sparkmagic.mirror/ 获取。它已托管在 OnWorks 中，以便通过我们的免费操作系统之一以最便捷的方式在线运行。