This is the Linux app named Smallpond whose latest release can be downloaded as smallpondv0.15.0sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
使用 OnWorks 免费下载并在线运行这个名为 Smallpond 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
小池塘
商品描述
smallpond 是由 DeepSeek 构建的轻量级分布式数据处理框架，旨在使用其 3FS（Fire-Flyer 文件系统）后端在集群上扩展 DuckDB 工作负载。其理念是保留 DuckDB 的快速分析引擎，但将其从单节点配置提升到多节点配置，使您能够操作大型数据集（例如 PB 级），而无需迁移到 Spark 等重量级系统。用户编写类似 Python 的代码（通过 DataFrame API 或 SQL 字符串）来表达其转换；在后台，任务会被调度（通常通过 Ray）并推送到对分区数据进行操作的 DuckDB 实例中。由于存储层 (3FS) 针对随机访问和高吞吐量进行了优化，smallpond 可以跨节点对数据进行 shuffle、重新分区和管理中间结果。
功能
- DuckDB 的分布式扩展：支持跨节点运行 SQL/DataFrame 操作
- 使用 3FS 作为共享数据后端来管理数据存储和 shuffle 操作
- 通过 SQL 字符串或 Python 函数进行转换的 API（map、partial_sql）
- 支持按分区数、行数或列上的哈希值进行重新分区
- 两种执行模式：高级动态（基于 Ray）和低级静态图执行
- 针对大规模工作负载进行了优化（基准测试为~100 TiB 排序）
程式语言
Python
分类
此应用程序也可从 https://sourceforge.net/projects/smallpond.mirror/ 获取。它已托管在 OnWorks 中，以便通过我们的免费操作系统之一以最便捷的方式在线运行。
