This is the Windows app named vLLM whose latest release can be downloaded as v0.10.1.1sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Завантажте та запустіть онлайн цю програму під назвою vLLM з OnWorks безкоштовно.
Дотримуйтесь цих інструкцій, щоб запустити цю програму:
- 1. Завантажив цю програму на свій ПК.
- 2. Введіть у наш файловий менеджер https://www.onworks.net/myfiles.php?username=XXXXX із потрібним ім'ям користувача.
- 3. Завантажте цю програму в такий файловий менеджер.
- 4. Запустіть будь-який онлайн емулятор ОС OnWorks з цього веб-сайту, але кращий онлайн-емулятор Windows.
- 5. З ОС OnWorks Windows, яку ви щойно запустили, перейдіть до нашого файлового менеджера https://www.onworks.net/myfiles.php?username=XXXXX з потрібним іменем користувача.
- 6. Завантажте програму та встановіть її.
- 7. Завантажте Wine зі сховищ програмного забезпечення дистрибутивів Linux. Після встановлення ви можете двічі клацнути програму, щоб запустити їх за допомогою Wine. Ви також можете спробувати PlayOnLinux, модний інтерфейс замість Wine, який допоможе вам встановити популярні програми та ігри Windows.
Wine — це спосіб запуску програмного забезпечення Windows на Linux, але без використання Windows. Wine — це рівень сумісності Windows з відкритим вихідним кодом, який може запускати програми Windows безпосередньо на будь-якому робочому столі Linux. По суті, Wine намагається повторно реалізувати достатньо Windows з нуля, щоб він міг запускати всі ці програми Windows, насправді не потребуючи Windows.
ЕКРАНИ
Ad
vLLM
ОПИС
vLLM — це швидка та проста у використанні бібліотека для висновків і обслуговування LLM. Високопродуктивне обслуговування з різними алгоритмами декодування, включаючи паралельну вибірку, пошук за променем тощо.
Функції
- Найсучасніша пропускна здатність обслуговування
- Ефективне керування пам’яттю ключів і значень уваги за допомогою PagedAttention
- Безперервне пакетування вхідних запитів
- Оптимізовані ядра CUDA
- Повна інтеграція з популярними моделями HuggingFace
- Підтримка тензорного паралелізму для розподіленого висновку
Мова програмування
Python
Категорії
Це програма, яку також можна завантажити з https://sourceforge.net/projects/vllm.mirror/. Його розміщено в OnWorks, щоб його можна було найпростіше запускати онлайн з однієї з наших безкоштовних операційних систем.
