To jest aplikacja dla systemu Linux o nazwie VLLM, której najnowszą wersję można pobrać jako v0.2.1.post1sourcecode.zip. Można go uruchomić online w bezpłatnym dostawcy hostingu OnWorks dla stacji roboczych.
Pobierz i uruchom online tę aplikację o nazwie VLLM z OnWorks za darmo.
Postępuj zgodnie z tymi instrukcjami, aby uruchomić tę aplikację:
- 1. Pobrałem tę aplikację na swój komputer.
- 2. Wpisz w naszym menedżerze plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 3. Prześlij tę aplikację w takim menedżerze plików.
- 4. Uruchom emulator online OnWorks Linux lub Windows online lub emulator online MACOS z tej witryny.
- 5. W systemie operacyjnym OnWorks Linux, który właśnie uruchomiłeś, przejdź do naszego menedżera plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 6. Pobierz aplikację, zainstaluj ją i uruchom.
ZRZUTY EKRANU
Ad
VLLM
OPIS
vLLM to szybka i łatwa w użyciu biblioteka do wnioskowania i obsługi LLM. Obsługa o wysokiej przepustowości z różnymi algorytmami dekodowania, w tym próbkowaniem równoległym, wyszukiwaniem wiązki i nie tylko.
Korzyści
- Najnowocześniejsza przepustowość obsługi
- Efektywne zarządzanie pamięcią kluczy uwagi i wartości dzięki PagedAttention
- Ciągłe grupowanie przychodzących żądań
- Zoptymalizowane jądra CUDA
- Bezproblemowa integracja z popularnymi modelami HuggingFace
- Obsługa równoległości tensorów dla wnioskowania rozproszonego
Język programowania
Python
Kategorie
Jest to aplikacja, którą można również pobrać ze strony https://sourceforge.net/projects/vllm.mirror/. Został on hostowany w OnWorks, aby można go było uruchomić online w najprostszy sposób z jednego z naszych bezpłatnych systemów operacyjnych.