这是名为 SGLang 的 Linux 应用，其最新版本可以下载为 Releasev0.5.2sourcecode.tar.gz。它可在免费的工作站托管服务提供商 OnWorks 上在线运行。
使用 OnWorks 免费下载并在线运行此名为 SGLang 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
新加坡语言
商品描述
SGLang 是一个面向大型语言模型和视觉语言模型的快速服务框架。它通过协同设计后端运行时和前端语言，使您与模型的交互更快、更可控。
功能
- 通过 RadixAttention 提供高效的服务，用于前缀缓存、前跳约束解码、无开销 CPU 调度程序、连续批处理、令牌注意（分页注意）、张量并行、FlashInfer 内核、分块预填充和量化（FP8/INT4/AWQ/GPTQ）
- 为 LLM 应用程序编程提供直观的界面，包括链式生成调用、高级提示、控制流、多模式输入、并行性和外部交互
- 支持多种生成模型（Llama、Gemma、Mistral、QWen、DeepSeek、LLaVA 等）、嵌入模型（e5-mistral、gte）和奖励模型（Skywork），并可轻松扩展以集成新模型
- SGLang 是开源的，并由活跃的社区支持并被业界采用
- 可用文档
程式语言
Python
分类
人工智能
此应用程序也可从 https://sourceforge.net/projects/sglang.mirror/ 获取。它已托管在 OnWorks 中，以便通过我们的免费操作系统以最便捷的方式在线运行。
