这是名为 vLLM 的 Linux 应用程序，其最新版本可以下载为 v0.9.1sourcecode.tar.gz。它可在免费的工作站托管服务提供商 OnWorks 上在线运行。
使用 OnWorks 免费下载并在线运行此名为 vLLM 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
法学硕士
商品描述
vLLM 是一个快速且易于使用的 LLM 推理和服务库。 高吞吐量服务于各种解码算法，包括并行采样、波束搜索等。
特性
- 最先进的服务吞吐量
- 使用 PagedAttention 高效管理注意力键和值内存
- 连续批处理传入请求
- 优化的 CUDA 内核
- 与流行的 HuggingFace 模型无缝集成
- 对分布式推理的张量并行支持
程式语言
Python
分类
大型语言模型（LLM）、LLM 推理
该应用程序也可以从 https://sourceforge.net/projects/vllm.mirror/ 获取。 它已托管在 OnWorks 中，以便从我们的免费操作系统之一以最简单的方式在线运行。
