Este é o aplicativo Linux chamado SGLang, cuja versão mais recente pode ser baixada como Releasev0.5.2sourcecode.tar.gz. Ele pode ser executado online no provedor de hospedagem gratuita OnWorks para estações de trabalho.
Baixe e execute on-line este aplicativo chamado SGLang com OnWorks gratuitamente.
Siga estas instruções para executar este aplicativo:
- 1. Baixe este aplicativo em seu PC.
- 2. Entre em nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que você deseja.
- 3. Carregue este aplicativo em tal gerenciador de arquivos.
- 4. Inicie o emulador OnWorks Linux online ou Windows online ou emulador MACOS online a partir deste site.
- 5. No sistema operacional OnWorks Linux que você acabou de iniciar, acesse nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que deseja.
- 6. Baixe o aplicativo, instale-o e execute-o.
SCREENSHOTS
Ad
SGLang
DESCRIÇÃO
SGLang é um framework de rápida implementação para modelos de linguagem de grande porte e modelos de linguagem de visão. Ele torna sua interação com modelos mais rápida e controlável por meio do co-design do tempo de execução do backend e da linguagem do frontend.
Recursos
- Fornece serviço eficiente com RadixAttention para cache de prefixo, decodificação com restrição de avanço, agendador de CPU sem sobrecarga, processamento em lote contínuo, atenção de token (atenção paginada), paralelismo de tensor, kernels FlashInfer, pré-preenchimento em blocos e quantização (FP8/INT4/AWQ/GPTQ)
- Oferece uma interface intuitiva para programação de aplicativos LLM, incluindo chamadas de geração encadeadas, prompts avançados, fluxo de controle, entradas multimodais, paralelismo e interações externas
- Suporta uma ampla gama de modelos generativos (Llama, Gemma, Mistral, QWen, DeepSeek, LLaVA, etc.), modelos de incorporação (e5-mistral, gte) e modelos de recompensa (Skywork), com fácil extensibilidade para integração de novos modelos
- O SGLang é de código aberto e apoiado por uma comunidade ativa com adoção pela indústria
- Documentação disponível
Linguagem de Programação
Python
Categorias
Este é um aplicativo que também pode ser obtido em https://sourceforge.net/projects/sglang.mirror/. Ele foi hospedado no OnWorks para ser executado online da maneira mais fácil em um de nossos sistemas operacionais gratuitos.
