这是名为 DeepSpeed MII 的 Linux 应用程序，其最新版本可以作为 DeepSpeedMIIv0.0.8.zip 下载。 它可以在免费的工作站托管提供商 OnWorks 中在线运行。
免费下载并使用 OnWorks 在线运行名为 DeepSpeed MII 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
DeepSpeed MII
商品描述
在 DeepSpeed 的支持下，MII 使低延迟和高吞吐量推理成为可能。 深度学习 (DL) 开源社区在过去几个月中出现了巨大的增长。 现在，任何能够通过 Hugging Face 等平台访问少量甚至单个 GPU 的人都可以使用 Bloom 176B 等极其强大的文本生成模型，或 Stable Diffusion 等图像生成模型。 尽管开源使人工智能功能的访问变得民主化，但其应用仍然受到两个关键因素的限制：推理延迟和成本。 DeepSpeed-MII 是 DeepSpeed 的一个新的开源 Python 库，旨在使强大模型的低延迟、低成本推理不仅可行，而且易于访问。 MII 提供对数千个广泛使用的深度学习模型的高度优化实现的访问。 与原始实施相比，MII 支持的模型可显着降低延迟和成本。
特性
- MII 提供数千种广泛使用的深度学习模型的高度优化实现
- 与原始实施相比，MII 支持的模型可显着降低延迟和成本
- MII 利用 DeepSpeed-Inference 的一系列广泛优化，例如变压器的深度融合
- 最先进的性能
- MII 只需几行代码即可通过 AML 在本地和 Azure 上支持这些模型的低成本部署
- 用于多 GPU 推理的自动张量切片，使用 ZeroQuant 进行动态量化
程式语言
Python
分类
该应用程序也可以从 https://sourceforge.net/projects/deepspeed-mii.mirror/ 获取。 它已托管在 OnWorks 中，以便从我们的免费操作系统之一以最简单的方式在线运行。
