Ini adalah aplikasi Linux bernama SGLang yang rilis terbarunya dapat diunduh sebagai Releasev0.5.2sourcecode.tar.gz. Aplikasi ini dapat dijalankan secara daring di penyedia hosting gratis OnWorks untuk stasiun kerja.
Unduh dan jalankan aplikasi ini secara daring bernama SGLang dengan OnWorks secara gratis.
Ikuti petunjuk ini untuk menjalankan aplikasi ini:
- 1. Download aplikasi ini di PC Anda.
- 2. Masuk ke file manager kami https://www.onworks.net/myfiles.php?username=XXXXX dengan username yang anda inginkan.
- 3. Upload aplikasi ini di filemanager tersebut.
- 4. Jalankan emulator online OnWorks Linux atau Windows online atau emulator online MACOS dari situs web ini.
- 5. Dari OS Linux OnWorks yang baru saja Anda mulai, buka file manager kami https://www.onworks.net/myfiles.php?username=XXXXX dengan nama pengguna yang Anda inginkan.
- 6. Download aplikasinya, install dan jalankan.
Tangkapan layar
Ad
SGLang
DESKRIPSI
SGLang adalah kerangka kerja yang cepat untuk model bahasa besar dan model bahasa visual. Kerangka kerja ini membuat interaksi Anda dengan model lebih cepat dan lebih terkendali dengan merancang bersama runtime backend dan bahasa frontend.
Fitur
- Menyediakan penyajian yang efisien dengan RadixAttention untuk prefiks caching, decoding dengan kendala jump-forward, penjadwal CPU bebas overhead, batching berkelanjutan, perhatian token (perhatian berhalaman), paralelisme tensor, kernel FlashInfer, prefill berpotongan, dan kuantisasi (FP8/INT4/AWQ/GPTQ)
- Menawarkan antarmuka intuitif untuk pemrograman aplikasi LLM, termasuk panggilan pembangkitan berantai, permintaan lanjutan, aliran kontrol, input multi-moda, paralelisme, dan interaksi eksternal
- Mendukung berbagai macam model generatif (Llama, Gemma, Mistral, QWen, DeepSeek, LLaVA, dll.), model penyematan (e5-mistral, gte) dan model penghargaan (Skywork), dengan ekstensibilitas mudah untuk mengintegrasikan model baru
- SGLang bersifat open-source dan didukung oleh komunitas aktif dengan adopsi industri
- Dokumentasi tersedia
Bahasa Pemrograman
Ular sanca
KATEGORI
Ini adalah aplikasi yang juga dapat diambil dari https://sourceforge.net/projects/sglang.mirror/. Aplikasi ini dihosting di OnWorks agar dapat dijalankan secara daring dengan cara termudah dari salah satu Sistem Operasi gratis kami.
