这是名为 Aviary 的 Linux 应用程序，其最新版本可以作为 v0.3.1.zip 下载。 它可以在免费的工作站托管提供商 OnWorks 中在线运行。
使用 OnWorks 免费下载并在线运行名为 Aviary 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
百鸟
商品描述
Aviary 是一个 LLM 服务解决方案，可以轻松部署和管理各种开源 LLM。 提供广泛的预配置开源 LLM 套件，默认设置开箱即用。 支持托管在 Hugging Face Hub 上或存在于本地磁盘上的 Transformer 模型。 得益于 Ray 和 Ray Serve，Aviary 原生支持自动缩放和多节点部署。 Aviary 可以根据需求扩展到零并创建新的模型副本（每个副本由多个 GPU 工作线程组成）。 Ray 确保自动处理编排和资源管理。 Aviary 能够支持数百个副本和数百个节点的集群，部署在云端或本地。
特性
- 全面支持多GPU、多节点模型部署
- 提供与 OpenAI 类似的 REST API，以便轻松迁移和交叉测试它们
- 提供连续批处理、量化和流式传输等高性能功能
- 在大多数情况下，将新法学硕士的添加简化到几分钟之内
- 在单一统一框架内简化多个法学硕士的部署
- 提供广泛的预配置开源 LLM 套件，默认设置开箱即用
程式语言
Python
分类
这是一个也可以从 https://sourceforge.net/projects/aviary.mirror/ 获取的应用程序。 它已托管在 OnWorks 中，以便从我们的免费操作系统之一以最简单的方式在线运行。
