Bu, en son sürümü v3.3.6sourcecode.tar.gz olarak indirilebilen Text Generation Inference adlı Linux uygulamasıdır. İş istasyonları için ücretsiz barındırma sağlayıcısı OnWorks'te çevrimiçi olarak çalıştırılabilir.
Text Generation Inference with OnWorks isimli bu uygulamayı ücretsiz olarak indirin ve çevrimiçi çalıştırın.
Bu uygulamayı çalıştırmak için şu talimatları izleyin:
- 1. Bu uygulamayı PC'nize indirdiniz.
- 2. Dosya yöneticimize https://www.onworks.net/myfiles.php?username=XXXXX istediğiniz kullanıcı adını girin.
- 3. Bu uygulamayı böyle bir dosya yöneticisine yükleyin.
- 4. Bu web sitesinden OnWorks Linux çevrimiçi veya Windows çevrimiçi öykünücüsünü veya MACOS çevrimiçi öykünücüsünü başlatın.
- 5. Yeni başladığınız OnWorks Linux işletim sisteminden, istediğiniz kullanıcı adıyla https://www.onworks.net/myfiles.php?username=XXXXX dosya yöneticimize gidin.
- 6. Uygulamayı indirin, kurun ve çalıştırın.
EKRAN
Ad
Metin Oluşturma Çıkarımı
AÇIKLAMA
Text Generation Inference, Hugging Face'in Transformers'ı için optimize edilmiş, metin üretim modelleri için yüksek performanslı bir çıkarım sunucusudur. Performans ve ölçeklenebilirlik için optimizasyonlarla büyük dil modellerine verimli bir şekilde hizmet vermek üzere tasarlanmıştır.
Özellikler
- Büyük dil modelleri (LLM) sunmak için optimize edilmiştir
- Yüksek verim için toplu işleme ve paralellik desteği
- Geliştirilmiş performans için niceleme desteği
- Kolay entegrasyon için API tabanlı dağıtım
- GPU hızlandırma ve çoklu düğüm ölçekleme
- Gerçek zamanlı yanıtlar için yerleşik token akışı
Programlama dili
Python
Kategoriler
Bu, https://sourceforge.net/projects/text-generation-infer.mirror/ adresinden de alınabilen bir uygulamadır. Ücretsiz İşletim Sistemlerimizden birinden en kolay şekilde çevrimiçi olarak çalıştırılabilmesi için OnWorks'te barındırılmıştır.
