这是名为 Petals 的 Linux 应用程序，其最新版本可以作为 v2.2.0_Falcon、macOSsupport 和more.zip 下载。 它可以在免费的工作站托管提供商 OnWorks 中在线运行。
使用 OnWorks 免费下载并在线运行这个名为 Petals 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
花瓣
商品描述
在家运行 100B+ 语言模型，BitTorrent 风格。 协作运行 BLOOM-176B 等大型语言模型——您加载模型的一小部分，然后与服务其他部分的人员合作运行推理或微调。 单批次推理的运行速度约为每步 1 秒（令牌）——比卸载快 10 倍，足以用于聊天机器人和其他交互式应用程序。 并行推理达到数百个令牌/秒。 超越经典语言模型 API——您可以使用任何微调和采样方法，通过模型执行自定义路径，或查看其隐藏状态。 您可以通过 PyTorch 的灵活性获得 API 的便利。 您还可以托管 BLOOMZ，这是 BLOOM 的一个版本，它经过微调以在零射击状态下遵循人类指令——只需将 bloom-petals 替换为 bloomz-petals。 Petals 以协作方式运行 BLOOM-176B 等大型语言模型——您加载模型的一小部分，然后与服务其他部分的人员合作进行推理或微调。
特征
- Petals 协同运行 BLOOM-176B 等大型语言模型
- 单批次推理以每步 ≈ 1 秒的速度运行（令牌）
- 超越经典语言模型 API
- 您可以采用任何微调和采样方法
- 您可以通过 PyTorch 的灵活性获得 API 的舒适性
- 并行推理达到数百个令牌/秒
程式语言
蟒蛇
分类目录
这是一个也可以从 https://sourceforge.net/projects/petals.mirror/ 获取的应用程序。 它已托管在 OnWorks 中，以便以最简单的方式从我们的免费操作系统之一在线运行。
