Bu, en son sürümü Releasev0.5.2sourcecode.tar.gz olarak indirilebilen SGLang adlı Linux uygulamasıdır. İş istasyonları için ücretsiz barındırma sağlayıcısı OnWorks'te çevrimiçi olarak çalıştırılabilir.
SGLang isimli OnWorks uygulamasını ücretsiz olarak çevrimiçi indirin ve çalıştırın.
Bu uygulamayı çalıştırmak için şu talimatları izleyin:
- 1. Bu uygulamayı PC'nize indirdiniz.
- 2. Dosya yöneticimize https://www.onworks.net/myfiles.php?username=XXXXX istediğiniz kullanıcı adını girin.
- 3. Bu uygulamayı böyle bir dosya yöneticisine yükleyin.
- 4. Bu web sitesinden OnWorks Linux çevrimiçi veya Windows çevrimiçi öykünücüsünü veya MACOS çevrimiçi öykünücüsünü başlatın.
- 5. Yeni başladığınız OnWorks Linux işletim sisteminden, istediğiniz kullanıcı adıyla https://www.onworks.net/myfiles.php?username=XXXXX dosya yöneticimize gidin.
- 6. Uygulamayı indirin, kurun ve çalıştırın.
EKRAN
Ad
SGLang
AÇIKLAMA
SGLang, büyük dil modelleri ve vizyon dili modelleri için hızlı hizmet veren bir çerçevedir. Arka uç çalışma zamanını ve ön uç dilini birlikte tasarlayarak modellerle etkileşiminizi daha hızlı ve daha kontrol edilebilir hale getirir.
Özellikler
- Önek önbelleğe alma, atlamalı ileri kısıtlı kod çözme, ek yük içermeyen CPU zamanlayıcısı, sürekli toplu işlem, belirteç dikkati (sayfalanmış dikkat), tensör paralellik, FlashInfer çekirdekleri, parçalı ön doldurma ve niceleme (FP8/INT4/AWQ/GPTQ) için RadixAttention ile verimli hizmet sağlar
- Zincirleme üretim çağrıları, gelişmiş istem, kontrol akışı, çok modlu girişler, paralellik ve harici etkileşimler dahil olmak üzere LLM uygulamalarını programlamak için sezgisel bir arayüz sunar
- Yeni modellerin entegre edilmesi için kolay genişletilebilirlik ile geniş bir yelpazede üretken modelleri (Llama, Gemma, Mistral, QWen, DeepSeek, LLaVA, vb.), gömülü modelleri (e5-mistral, gte) ve ödül modellerini (Skywork) destekler
- SGLang açık kaynaklıdır ve sektörde benimsenen aktif bir topluluk tarafından desteklenmektedir
- Mevcut belgeler
Programlama dili
Python
Kategoriler
Bu, https://sourceforge.net/projects/sglang.mirror/ adresinden de alınabilen bir uygulamadır. Ücretsiz İşletim Sistemlerimizden birinden en kolay şekilde çevrimiçi olarak çalıştırılabilmesi için OnWorks'te barındırılmıştır.
