这是名为 Pruna AI 的 Linux 应用程序，其最新版本可下载为 v0.2.5sourcecode.tar.gz。它可在免费的工作站托管服务提供商 OnWorks 上在线运行。
使用 OnWorks 免费下载并在线运行这个名为 Pruna AI 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
普鲁纳
商品描述
Pruna 是一款开源、自托管的 AI 推理引擎，旨在帮助团队在私有或混合基础架构中高效部署和管理大型语言模型 (LLM)。Pruna 的设计充分考虑了性能和开发者的人体工程学，通过支持多模型编排、自动扩展、GPU 资源分配以及与主流开源模型的兼容性，简化了推理工作流程。对于希望减少对外部 API 依赖，同时保持速度、成本效益以及对数据和 AI 堆栈的完全控制的公司或团队来说，它是理想之选。Pruna 专注于可扩展性和可观察性，使工程师能够安全可靠地将 LLM 应用程序从原型扩展到生产环境。
特性
- 用于管理 LLM 推理的自托管引擎
- 支持多模型编排和路由
- 动态自动扩展以实现资源优化
- GPU 感知调度和负载平衡
- 与 LLaMA 和 Mistral 等开源模型兼容
- HTTP 和 gRPC API，可轻松集成
- 内置可观察性和性能跟踪
- 部署就绪，支持 Docker 和 Kubernetes
程式语言
Python
分类
此应用程序也可从 https://sourceforge.net/projects/pruna-ai.mirror/ 获取。它已托管在 OnWorks 中，以便通过我们的免费操作系统之一以最便捷的方式在线运行。
