这是名为 Smallpond 的 Linux 应用，其最新版本可下载为 smallpondv0.15.0sourcecode.zip。它可在免费的工作站托管服务提供商 OnWorks 上在线运行。
使用 OnWorks 免费下载并在线运行这个名为 Smallpond 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
小池塘
商品描述
smallpond 是由 DeepSeek 构建的轻量级分布式数据处理框架，旨在使用其 3FS（Fire-Flyer 文件系统）后端在集群上扩展 DuckDB 工作负载。其理念是保留 DuckDB 的快速分析引擎，但将其从单节点配置提升到多节点配置，使您能够操作大型数据集（例如 PB 级），而无需迁移到 Spark 等重量级系统。用户编写类似 Python 的代码（通过 DataFrame API 或 SQL 字符串）来表达其转换；在后台，任务会被调度（通常通过 Ray）并推送到对分区数据进行操作的 DuckDB 实例中。由于存储层 (3FS) 针对随机访问和高吞吐量进行了优化，smallpond 可以跨节点对数据进行 shuffle、重新分区和管理中间结果。
功能
- DuckDB 的分布式扩展：支持跨节点运行 SQL/DataFrame 操作
- 使用 3FS 作为共享数据后端来管理数据存储和 shuffle 操作
- 通过 SQL 字符串或 Python 函数进行转换的 API（map、partial_sql）
- 支持按分区数、行数或列上的哈希值进行重新分区
- 两种执行模式：高级动态（基于 Ray）和低级静态图执行
- 针对大规模工作负载进行了优化（基准测试为~100 TiB 排序）
程式语言
Python
分类
此应用程序也可从 https://sourceforge.net/projects/smallpond.mirror/ 获取。它已托管在 OnWorks 中，以便通过我们的免费操作系统之一以最便捷的方式在线运行。
