Это приложение Linux под названием SGLang, последний релиз которого можно загрузить как Releasev0.5.2sourcecode.tar.gz. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите онлайн это приложение под названием SGLang с помощью OnWorks бесплатно.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ
Ad
СГЛанг
ОПИСАНИЕ
SGLang — это быстродействующий фреймворк для больших языковых моделей и моделей языка видения. Он делает ваше взаимодействие с моделями более быстрым и контролируемым за счет совместного проектирования среды выполнения бэкэнда и языка фронтэнда.
Особенности
- Обеспечивает эффективное обслуживание с помощью RadixAttention для кэширования префиксов, ограниченного декодирования с переходом вперед, планировщика ЦП без накладных расходов, непрерывной пакетной обработки, внимания к токенам (постраничного внимания), тензорного параллелизма, ядер FlashInfer, фрагментированного предварительного заполнения и квантования (FP8/INT4/AWQ/GPTQ)
- Предлагает интуитивно понятный интерфейс для программирования приложений LLM, включая вызовы цепочечных генераций, расширенные подсказки, поток управления, многомодальные входы, параллелизм и внешние взаимодействия.
- Поддерживает широкий спектр генеративных моделей (Llama, Gemma, Mistral, QWen, DeepSeek, LLaVA и т. д.), встраиваемых моделей (e5-mistral, gte) и моделей вознаграждения (Skywork) с простой расширяемостью для интеграции новых моделей.
- SGLang имеет открытый исходный код и поддерживается активным сообществом, принятым в отрасли.
- Доступная документация
Язык программирования
Питон
Категории
Это приложение, которое также можно загрузить с https://sourceforge.net/projects/sglang.mirror/. Оно размещено в OnWorks для того, чтобы его можно было запустить онлайн самым простым способом из одной из наших бесплатных операционных систем.
