Dies ist die Linux-App namens SGLang, deren neueste Version als Releasev0.5.2sourcecode.tar.gz heruntergeladen werden kann. Sie kann online beim kostenlosen Hosting-Anbieter OnWorks für Workstations ausgeführt werden.
Laden Sie diese App namens SGLang mit OnWorks kostenlos herunter und führen Sie sie online aus.
Befolgen Sie diese Anweisungen, um diese App auszuführen:
- 1. Diese Anwendung auf Ihren PC heruntergeladen.
- 2. Geben Sie in unserem Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX den gewünschten Benutzernamen ein.
- 3. Laden Sie diese Anwendung in einem solchen Dateimanager hoch.
- 4. Starten Sie den OnWorks Linux-Online- oder Windows-Online-Emulator oder den MACOS-Online-Emulator von dieser Website.
- 5. Rufen Sie vom gerade gestarteten OnWorks Linux-Betriebssystem aus unseren Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX mit dem gewünschten Benutzernamen auf.
- 6. Laden Sie die Anwendung herunter, installieren Sie sie und führen Sie sie aus.
SCREENSHOTS
Ad
SGLang
BESCHREIBUNG
SGLang ist ein schnelles Framework für große Sprachmodelle und Vision-Sprachmodelle. Durch die gemeinsame Entwicklung der Backend-Laufzeit und der Frontend-Sprache wird Ihre Interaktion mit Modellen schneller und kontrollierbarer.
Eigenschaften
- Bietet effizientes Serving mit RadixAttention für Präfix-Caching, Jump-Forward-Decodierung mit Einschränkung, Overhead-freien CPU-Scheduler, kontinuierliches Batching, Token-Aufmerksamkeit (seitenweise Aufmerksamkeit), Tensor-Parallelität, FlashInfer-Kernel, Chunked Prefill und Quantisierung (FP8/INT4/AWQ/GPTQ)
- Bietet eine intuitive Schnittstelle zur Programmierung von LLM-Anwendungen, einschließlich verketteter Generierungsaufrufe, erweiterter Eingabeaufforderungen, Kontrollfluss, multimodaler Eingaben, Parallelität und externer Interaktionen
- Unterstützt eine breite Palette generativer Modelle (Llama, Gemma, Mistral, QWen, DeepSeek, LLaVA usw.), Einbettungsmodelle (e5-mistral, gte) und Belohnungsmodelle (Skywork) mit einfacher Erweiterbarkeit zur Integration neuer Modelle
- SGLang ist Open Source und wird von einer aktiven Community mit Branchenakzeptanz unterstützt
- Dokumentation vorhanden
Programmiersprache
Python
Kategorien
Diese Anwendung ist auch unter https://sourceforge.net/projects/sglang.mirror/ verfügbar. Sie wurde in OnWorks gehostet, um die Ausführung online auf einem unserer kostenlosen Betriebssysteme zu vereinfachen.
