这是名为“文本生成推理”的 Linux 应用程序，其最新版本可下载为 v3.3.6sourcecode.tar.gz。它可在免费的工作站托管服务提供商 OnWorks 上在线运行。
免费下载并在线运行此名为“使用 OnWorks 的文本生成推理”的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
文本生成推理
商品描述
文本生成推理 (Text Generation Inference) 是一款针对文本生成模型的高性能推理服务器，已针对 Hugging Face 的 Transformers 进行优化。它旨在高效地服务于大型语言模型，并针对性能和可扩展性进行了优化。
功能
- 针对大型语言模型 (LLM) 进行了优化
- 支持批处理和并行以实现高吞吐量
- 量化支持以提高性能
- 基于 API 的部署，易于集成
- GPU加速和多节点扩展
- 内置令牌流，用于实时响应
程式语言
Python
分类
自然语言处理（NLP）、LLM 推理
此应用程序也可从 https://sourceforge.net/projects/text-generation-infer.mirror/ 获取。它已托管在 OnWorks 中，以便通过我们的免费操作系统之一以最便捷的方式在线运行。
