SGLang이라는 이름의 리눅스 앱으로, 최신 릴리스는 Releasev0.5.2sourcecode.tar.gz 형식으로 다운로드할 수 있습니다. 워크스테이션용 무료 호스팅 제공업체인 OnWorks에서 온라인으로 실행할 수 있습니다.
SGLang with OnWorks라는 앱을 무료로 다운로드하여 온라인에서 실행해보세요.
이 앱을 실행하려면 다음 지침을 따르세요.
- 1. 이 애플리케이션을 PC에 다운로드했습니다.
- 2. 파일 관리자 https://www.onworks.net/myfiles.php?username=XXXXX에 원하는 사용자 이름을 입력합니다.
- 3. 이러한 파일 관리자에서 이 응용 프로그램을 업로드합니다.
- 4. 이 웹사이트에서 OnWorks Linux 온라인 또는 Windows 온라인 에뮬레이터 또는 MACOS 온라인 에뮬레이터를 시작합니다.
- 5. 방금 시작한 OnWorks Linux OS에서 원하는 사용자 이름으로 파일 관리자 https://www.onworks.net/myfiles.php?username=XXXXX로 이동합니다.
- 6. 응용 프로그램을 다운로드하여 설치하고 실행합니다.
스크린 샷
Ad
SGLang
기술
SGLang은 대규모 언어 모델과 비전 언어 모델을 위한 고속 서빙 프레임워크입니다. 백엔드 런타임과 프런트엔드 언어를 공동 설계하여 모델과의 상호 작용을 더욱 빠르고 제어 가능하게 만들어 줍니다.
기능
- RadixAttention을 통해 접두사 캐싱, 점프 포워드 제한 디코딩, 오버헤드 없는 CPU 스케줄러, 연속 배칭, 토큰 어텐션(페이지 어텐션), 텐서 병렬 처리, FlashInfer 커널, 청크 사전 채우기 및 양자화(FP8/INT4/AWQ/GPTQ)를 위한 효율적인 서비스를 제공합니다.
- 체인 생성 호출, 고급 프롬프트, 제어 흐름, 다중 모달 입력, 병렬 처리 및 외부 상호 작용을 포함하여 LLM 애플리케이션 프로그래밍을 위한 직관적인 인터페이스를 제공합니다.
- Llama, Gemma, Mistral, QWen, DeepSeek, LLaVA 등 다양한 생성 모델, e5-mistral, gte 등의 임베딩 모델, Skywork 등의 보상 모델을 지원하며 새로운 모델을 쉽게 통합할 수 있는 확장성을 제공합니다.
- SGLang은 오픈 소스이며 업계에서 채택된 활발한 커뮤니티의 지원을 받습니다.
- 사용 가능한 문서
프로그래밍 언어
Python
카테고리
이 애플리케이션은 https://sourceforge.net/projects/sglang.mirror/에서도 다운로드할 수 있습니다. OnWorks에 호스팅되어 무료 운영 체제 중 하나에서 가장 쉽게 온라인에서 실행할 수 있습니다.
