Bu, son sürümü v0.2.1.post1sourcecode.zip olarak indirilebilen VLLM adlı Linux uygulamasıdır. İş istasyonları için ücretsiz barındırma sağlayıcısı OnWorks'te çevrimiçi olarak çalıştırılabilir.
VLLM adlı bu uygulamayı OnWorks ile ücretsiz olarak indirin ve çevrimiçi çalıştırın.
Bu uygulamayı çalıştırmak için şu talimatları izleyin:
- 1. Bu uygulamayı PC'nize indirdiniz.
- 2. Dosya yöneticimize https://www.onworks.net/myfiles.php?username=XXXXX istediğiniz kullanıcı adını girin.
- 3. Bu uygulamayı böyle bir dosya yöneticisine yükleyin.
- 4. Bu web sitesinden OnWorks Linux çevrimiçi veya Windows çevrimiçi öykünücüsünü veya MACOS çevrimiçi öykünücüsünü başlatın.
- 5. Yeni başladığınız OnWorks Linux işletim sisteminden, istediğiniz kullanıcı adıyla https://www.onworks.net/myfiles.php?username=XXXXX dosya yöneticimize gidin.
- 6. Uygulamayı indirin, kurun ve çalıştırın.
EKRAN
Ad
VLLM
TANIM
vLLM, LLM çıkarımı ve sunumu için hızlı ve kullanımı kolay bir kütüphanedir. Paralel örnekleme, ışın arama ve daha fazlasını içeren çeşitli kod çözme algoritmalarıyla yüksek verimli hizmet.
Özellikler
- Son teknoloji ürünü hizmet verimi
- PagedAttention ile dikkat anahtarı ve değer belleğinin verimli yönetimi
- Gelen isteklerin sürekli olarak gruplandırılması
- Optimize edilmiş CUDA çekirdekleri
- Popüler HuggingFace modelleriyle kusursuz entegrasyon
- Dağıtılmış çıkarım için tensör paralelliği desteği
Programlama dili
Python
Kategoriler
Bu, https://sourceforge.net/projects/vllm.mirror/ adresinden de alınabilecek bir uygulamadır. Ücretsiz İşletim Sistemlerimizden birinden en kolay şekilde çevrimiçi çalıştırılabilmesi için OnWorks'te barındırılmıştır.
