Esta es la aplicación para Linux llamada SGLang, cuya última versión se puede descargar como Releasev0.5.2sourcecode.tar.gz. Se puede ejecutar en línea en el proveedor de alojamiento gratuito OnWorks para estaciones de trabajo.
Descargue y ejecute en línea esta aplicación llamada SGLang con OnWorks de forma gratuita.
Siga estas instrucciones para ejecutar esta aplicación:
- 1. Descargue esta aplicación en su PC.
- 2. Ingrese en nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 3. Cargue esta aplicación en dicho administrador de archivos.
- 4. Inicie el emulador en línea OnWorks Linux o Windows en línea o el emulador en línea MACOS desde este sitio web.
- 5. Desde el SO OnWorks Linux que acaba de iniciar, vaya a nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 6. Descarga la aplicación, instálala y ejecútala.
SCREENSHOTS
Ad
SGLang
DESCRIPCIÓN
SGLang es un framework de rápida ejecución para modelos de lenguaje grandes y de visión. Facilita y agiliza la interacción con los modelos mediante el codiseño del entorno de ejecución del backend y el lenguaje del frontend.
Caracteristicas
- Proporciona un servicio eficiente con RadixAttention para almacenamiento en caché de prefijos, decodificación restringida con salto hacia adelante, programador de CPU sin sobrecarga, procesamiento por lotes continuo, atención de token (atención paginada), paralelismo de tensores, kernels FlashInfer, prellenado fragmentado y cuantificación (FP8/INT4/AWQ/GPTQ)
- Ofrece una interfaz intuitiva para programar aplicaciones LLM, incluidas llamadas de generación encadenadas, indicaciones avanzadas, flujo de control, entradas multimodales, paralelismo e interacciones externas.
- Admite una amplia gama de modelos generativos (Llama, Gemma, Mistral, QWen, DeepSeek, LLaVA, etc.), modelos de incrustación (e5-mistral, gte) y modelos de recompensa (Skywork), con fácil extensibilidad para integrar nuevos modelos.
- SGLang es de código abierto y está respaldado por una comunidad activa con adopción en la industria.
- Documentación disponible
Lenguaje de programación
Python
Categorías
Esta aplicación también se puede obtener de https://sourceforge.net/projects/sglang.mirror/. Está alojada en OnWorks para facilitar su ejecución en línea desde uno de nuestros sistemas operativos gratuitos.
