Ini adalah aplikasi Linux bernama vLLM yang rilis terbarunya dapat diunduh sebagai v0.10.2sourcecode.tar.gz. Aplikasi ini dapat dijalankan secara daring di penyedia hosting gratis OnWorks untuk stasiun kerja.
Unduh dan jalankan aplikasi ini secara online bernama vLLM dengan OnWorks secara gratis.
Ikuti petunjuk ini untuk menjalankan aplikasi ini:
- 1. Download aplikasi ini di PC Anda.
- 2. Masuk ke file manager kami https://www.onworks.net/myfiles.php?username=XXXXX dengan username yang anda inginkan.
- 3. Upload aplikasi ini di filemanager tersebut.
- 4. Jalankan emulator online OnWorks Linux atau Windows online atau emulator online MACOS dari situs web ini.
- 5. Dari OS Linux OnWorks yang baru saja Anda mulai, buka file manager kami https://www.onworks.net/myfiles.php?username=XXXXX dengan nama pengguna yang Anda inginkan.
- 6. Download aplikasinya, install dan jalankan.
Tangkapan layar
Ad
vLLM
DESKRIPSI
vLLM adalah perpustakaan yang cepat dan mudah digunakan untuk inferensi dan penyajian LLM. Penyajian throughput tinggi dengan berbagai algoritma decoding, termasuk pengambilan sampel paralel, pencarian berkas, dan banyak lagi.
Fitur
- Throughput penyajian yang canggih
- Manajemen kunci perhatian dan memori nilai yang efisien dengan PagedAttention
- Pengelompokan permintaan masuk yang berkelanjutan
- Kernel CUDA yang dioptimalkan
- Integrasi yang mulus dengan model HuggingFace yang populer
- Dukungan paralelisme tensor untuk inferensi terdistribusi
Bahasa Pemrograman
Ular sanca
KATEGORI
Ini adalah aplikasi yang juga dapat diambil dari https://sourceforge.net/projects/vllm.mirror/. Ini telah dihosting di OnWorks untuk dijalankan online dengan cara termudah dari salah satu Sistem Operasi gratis kami.
