Dit is de Linux-app genaamd VLLM waarvan de nieuwste release kan worden gedownload als v0.2.1.post1sourcecode.zip. Het kan online worden uitgevoerd in de gratis hostingprovider OnWorks voor werkstations.
Download en voer deze app met de naam VLLM gratis online uit met OnWorks.
Volg deze instructies om deze app uit te voeren:
- 1. Download deze applicatie op uw pc.
- 2. Voer in onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX in met de gebruikersnaam die u wilt.
- 3. Upload deze applicatie in zo'n bestandsbeheerder.
- 4. Start de OnWorks Linux online of Windows online emulator of MACOS online emulator vanaf deze website.
- 5. Ga vanuit het OnWorks Linux-besturingssysteem dat u zojuist hebt gestart naar onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX met de gewenste gebruikersnaam.
- 6. Download de applicatie, installeer hem en voer hem uit.
SCHERMSCHERMEN:
VLLM
BESCHRIJVING:
vLLM is een snelle en eenvoudig te gebruiken bibliotheek voor LLM-inferentie en -service. Hoge verwerkingscapaciteit met verschillende decoderingsalgoritmen, waaronder parallelle sampling, beam search en meer.
Voordelen
- State-of-the-art serveercapaciteit
- Efficiënt beheer van aandachtssleutel- en waardegeheugen met PagedAttention
- Continue batchverwerking van inkomende verzoeken
- Geoptimaliseerde CUDA-kernels
- Naadloze integratie met populaire HuggingFace-modellen
- Ondersteuning van tensorparallellisme voor gedistribueerde gevolgtrekking
Programmeertaal
Python
Categorieën
Dit is een applicatie die ook kan worden opgehaald van https://sourceforge.net/projects/vllm.mirror/. Het is gehost in OnWorks zodat het op de eenvoudigste manier online kan worden uitgevoerd vanaf een van onze gratis besturingssystemen.