Bu, en son sürümü v0.3.1sourcecode.tar.gz olarak indirilebilen FlashInfer adlı Linux uygulamasıdır. İş istasyonları için ücretsiz barındırma sağlayıcısı OnWorks'te çevrimiçi olarak çalıştırılabilir.
FlashInfer with OnWorks isimli bu uygulamayı ücretsiz olarak indirin ve çevrimiçi çalıştırın.
Bu uygulamayı çalıştırmak için şu talimatları izleyin:
- 1. Bu uygulamayı PC'nize indirdiniz.
- 2. Dosya yöneticimize https://www.onworks.net/myfiles.php?username=XXXXX istediğiniz kullanıcı adını girin.
- 3. Bu uygulamayı böyle bir dosya yöneticisine yükleyin.
- 4. Bu web sitesinden OnWorks Linux çevrimiçi veya Windows çevrimiçi öykünücüsünü veya MACOS çevrimiçi öykünücüsünü başlatın.
- 5. Yeni başladığınız OnWorks Linux işletim sisteminden, istediğiniz kullanıcı adıyla https://www.onworks.net/myfiles.php?username=XXXXX dosya yöneticimize gidin.
- 6. Uygulamayı indirin, kurun ve çalıştırın.
EKRAN
Ad
FlashInfer
AÇIKLAMA
FlashInfer, çıkarım performansını optimize ederek Büyük Dil Modelleri (LLM) hizmetini geliştirmek için tasarlanmış bir çekirdek kütüphanesidir. Mevcut sistemlerle sorunsuz bir şekilde entegre olan, LLM dağıtımlarında gecikmeyi azaltmayı ve verimliliği artırmayı amaçlayan yüksek performanslı bir çerçeve sağlar. FlashInfer çeşitli donanım mimarilerini destekler ve üretim ortamlarının talepleriyle ölçeklenecek şekilde oluşturulmuştur.
Özellikler
- LLM çıkarımı için optimize edilmiş çekirdek işlemleri
- Mevcut servis çerçeveleriyle kusursuz entegrasyon
- Birden fazla donanım mimarisi için destek
- Üretim ortamları için ölçeklenebilir tasarım
- Çıkarım gecikmesinde azalma
- Gelişmiş kaynak kullanımı
- Popüler LLM mimarileriyle uyumluluk
- Açık kaynaklı kullanılabilirlik
- Aktif topluluk desteği
Programlama dili
Python
Kategoriler
Bu, https://sourceforge.net/projects/flashinfer.mirror/ adresinden de alınabilen bir uygulamadır. Ücretsiz İşletim Sistemlerimizden birinden en kolay şekilde çevrimiçi olarak çalıştırılabilmesi için OnWorks'te barındırılmıştır.
