Ini ialah apl Windows bernama VLLM yang keluaran terbarunya boleh dimuat turun sebagai v0.2.1.post1sourcecode.zip. Ia boleh dijalankan dalam talian dalam penyedia pengehosan percuma OnWorks untuk stesen kerja.
Muat turun dan jalankan dalam talian apl bernama VLLM ini dengan OnWorks secara percuma.
Ikut arahan ini untuk menjalankan apl ini:
- 1. Memuat turun aplikasi ini dalam PC anda.
- 2. Masukkan dalam pengurus fail kami https://www.onworks.net/myfiles.php?username=XXXXX dengan nama pengguna yang anda mahukan.
- 3. Muat naik aplikasi ini dalam pengurus filem tersebut.
- 4. Mulakan mana-mana emulator dalam talian OS OnWorks daripada tapak web ini, tetapi emulator dalam talian Windows yang lebih baik.
- 5. Daripada OS Windows OnWorks yang baru anda mulakan, pergi ke pengurus fail kami https://www.onworks.net/myfiles.php?username=XXXX dengan nama pengguna yang anda mahukan.
- 6. Muat turun aplikasi dan pasangnya.
- 7. Muat turun Wine dari repositori perisian pengedaran Linux anda. Setelah dipasang, anda kemudian boleh mengklik dua kali aplikasi untuk menjalankannya dengan Wine. Anda juga boleh mencuba PlayOnLinux, antara muka mewah melalui Wine yang akan membantu anda memasang program dan permainan Windows yang popular.
Wain ialah cara untuk menjalankan perisian Windows pada Linux, tetapi tanpa Windows diperlukan. Wain ialah lapisan keserasian Windows sumber terbuka yang boleh menjalankan program Windows secara langsung pada mana-mana desktop Linux. Pada asasnya, Wine cuba untuk melaksanakan semula Windows yang mencukupi dari awal supaya ia boleh menjalankan semua aplikasi Windows tersebut tanpa memerlukan Windows.
SKRIN
Ad
VLLM
DESCRIPTION
vLLM ialah perpustakaan yang pantas dan mudah digunakan untuk inferens dan penyajian LLM. Penyajian berdaya tinggi dengan pelbagai algoritma penyahkodan, termasuk pensampelan selari, carian rasuk dan banyak lagi.
Ciri-ciri
- Daya tampung penyajian yang terkini
- Pengurusan kunci perhatian dan ingatan nilai yang cekap dengan PagedAttention
- Batching berterusan permintaan masuk
- Inti CUDA yang dioptimumkan
- Penyepaduan lancar dengan model HuggingFace yang popular
- Sokongan selari tensor untuk inferens teragih
Bahasa Pengaturcaraan
Python
Kategori
Ini adalah aplikasi yang juga boleh diambil dari https://sourceforge.net/projects/vllm.mirror/. Ia telah dihoskan dalam OnWorks untuk dijalankan dalam talian dengan cara yang paling mudah daripada salah satu Sistem Operasi percuma kami.
