Ito ang Linux app na pinangalanang VLLM na ang pinakabagong release ay maaaring ma-download bilang v0.2.1.post1sourcecode.zip. Maaari itong patakbuhin online sa libreng hosting provider na OnWorks para sa mga workstation.
I-download at patakbuhin online ang app na ito na pinangalanang VLLM na may OnWorks nang libre.
Sundin ang mga tagubiling ito upang patakbuhin ang app na ito:
- 1. Na-download ang application na ito sa iyong PC.
- 2. Ipasok sa aming file manager https://www.onworks.net/myfiles.php?username=XXXXX kasama ang username na gusto mo.
- 3. I-upload ang application na ito sa naturang filemanager.
- 4. Simulan ang OnWorks Linux online o Windows online emulator o MACOS online emulator mula sa website na ito.
- 5. Mula sa OnWorks Linux OS na kasisimula mo pa lang, pumunta sa aming file manager https://www.onworks.net/myfiles.php?username=XXXX gamit ang username na gusto mo.
- 6. I-download ang application, i-install ito at patakbuhin ito.
MGA LALAKI
Ad
VLLM
DESCRIPTION
Ang vLLM ay isang mabilis at madaling gamitin na library para sa LLM inference at serving. High-throughput na paghahatid na may iba't ibang decoding algorithm, kabilang ang parallel sampling, beam search, at higit pa.
Mga tampok
- Makabagong paghahatid ng throughput
- Mahusay na pamamahala ng attention key at value memory gamit ang PagedAttention
- Patuloy na batching ng mga papasok na kahilingan
- Na-optimize na mga kernel ng CUDA
- Walang putol na pagsasama sa mga sikat na modelo ng HuggingFace
- Tensor parallelism support para sa distributed inference
Wika ng Programming
Sawa
Kategorya
Ito ay isang application na maaari ding makuha mula sa https://sourceforge.net/projects/vllm.mirror/. Na-host ito sa OnWorks upang mapatakbo online sa pinakamadaling paraan mula sa isa sa aming mga libreng Operative System.
