To jest aplikacja Linux o nazwie SGLang, której najnowszą wersję można pobrać jako Releasev0.5.2sourcecode.tar.gz. Można ją uruchomić online w darmowym dostawcy hostingu OnWorks dla stacji roboczych.
Pobierz i uruchom bezpłatnie aplikację SGLang z OnWorks.
Postępuj zgodnie z tymi instrukcjami, aby uruchomić tę aplikację:
- 1. Pobrałem tę aplikację na swój komputer.
- 2. Wpisz w naszym menedżerze plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 3. Prześlij tę aplikację w takim menedżerze plików.
- 4. Uruchom emulator online OnWorks Linux lub Windows online lub emulator online MACOS z tej witryny.
- 5. W systemie operacyjnym OnWorks Linux, który właśnie uruchomiłeś, przejdź do naszego menedżera plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 6. Pobierz aplikację, zainstaluj ją i uruchom.
ZRZUTY EKRANU
Ad
SGLang
OPIS
SGLang to szybko obsługujący framework dla dużych modeli językowych i modeli języka wizji. Sprawia, że interakcja z modelami jest szybsza i bardziej kontrolowana poprzez współprojektowanie środowiska wykonawczego zaplecza i języka frontendu.
Funkcjonalności
- Zapewnia wydajne serwowanie z RadixAttention do buforowania prefiksów, dekodowania z ograniczeniami skokowymi, harmonogramu procesora bez narzutu, ciągłego przetwarzania wsadowego, uwagi tokenów (uwaga stronicowana), paralelizmu tensorów, jąder FlashInfer, wstępnego wypełniania fragmentami i kwantyzacji (FP8/INT4/AWQ/GPTQ)
- Oferuje intuicyjny interfejs do programowania aplikacji LLM, obejmujący wywołania generacji łańcuchowej, zaawansowane monity, przepływ sterowania, wejścia multimodalne, paralelizm i interakcje zewnętrzne
- Obsługuje szeroką gamę modeli generatywnych (Llama, Gemma, Mistral, QWen, DeepSeek, LLaVA itp.), modele osadzania (e5-mistral, gte) i modele nagród (Skywork), z łatwą rozszerzalnością w celu integracji nowych modeli
- SGLang jest projektem typu open source, wspieranym przez aktywną społeczność i przyjętym przez branżę
- Dostępna dokumentacja
Język programowania
Python
Kategorie
Jest to aplikacja, którą można również pobrać z https://sourceforge.net/projects/sglang.mirror/. Została umieszczona w OnWorks, aby można ją było uruchomić online w najłatwiejszy sposób z jednego z naszych darmowych systemów operacyjnych.
