这是名为 FairScale 的 Linux 应用程序，其最新版本可以下载为 v0.4.13sourcecode.tar.gz。它可以在免费的工作站托管服务提供商 OnWorks 上在线运行。
使用 OnWorks 免费下载并在线运行这个名为 FairScale 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
截图：
公平尺度
描述：
FairScale 是 PyTorch 性能和扩展原语的集合，它开创了许多如今用于大型模型训练的理念。它引入了完全分片数据并行 (FSDP) 风格的技术，该技术将模型参数、梯度和优化器状态分片到各个等级，以便在相同的内存预算内容纳更大的模型。该库还提供流水线并行性、激活检查点、混合精度、优化器状态分片 (OSS) 和自动包装策略，从而减少复杂分布式设置中的样板代码。它的组件是模块化的，因此团队可以只采用分片优化器或流水线引擎，而无需重写训练循环。FairScale 注重正确性和可调试性，为常见的训练器模式提供了钩子点、日志记录和参考示例。尽管后来许多想法已经融入 PyTorch 核心，但 FairScale 仍然是一个有价值的参考和实用工具箱，可从多 GPU 和多节点作业中榨取更高的性能。
功能
- 完全分片数据并行样式参数、梯度和优化器分片
- 具有进度控制的流水线并行实用程序
- 激活检查点以计算换取内存
- 优化器状态分片（OSS）嵌入式优化器
- 混合精度和自动包装策略，易于采用
- 生产级分布式训练的示例和钩子
程式语言
Python
分类
此应用程序也可从 https://sourceforge.net/projects/fairscale.mirror/ 获取。它已托管在 OnWorks 中，以便通过我们的免费操作系统之一以最便捷的方式在线运行。