Це програма для Linux під назвою VLLM, останню версію якої можна завантажити як v0.2.1.post1sourcecode.zip. Його можна запустити онлайн у безкоштовного хостинг-провайдера OnWorks для робочих станцій.
Завантажте та безкоштовно запустіть цю програму під назвою VLLM з OnWorks.
Дотримуйтесь цих інструкцій, щоб запустити цю програму:
- 1. Завантажив цю програму на свій ПК.
- 2. Введіть у наш файловий менеджер https://www.onworks.net/myfiles.php?username=XXXXX із потрібним ім'ям користувача.
- 3. Завантажте цю програму в такий файловий менеджер.
- 4. Запустіть онлайн-емулятор OnWorks Linux або Windows або онлайн-емулятор MACOS з цього веб-сайту.
- 5. З ОС OnWorks Linux, яку ви щойно запустили, перейдіть до нашого файлового менеджера https://www.onworks.net/myfiles.php?username=XXXXX з потрібним іменем користувача.
- 6. Завантажте програму, встановіть її та запустіть.
ЕКРАНИ
Ad
VLLM
ОПИС
vLLM — це швидка та проста у використанні бібліотека для висновків і обслуговування LLM. Високопродуктивне обслуговування з різними алгоритмами декодування, включаючи паралельну вибірку, пошук за променем тощо.
риси
- Найсучасніша пропускна здатність обслуговування
- Ефективне керування пам’яттю ключів і значень уваги за допомогою PagedAttention
- Безперервне пакетування вхідних запитів
- Оптимізовані ядра CUDA
- Повна інтеграція з популярними моделями HuggingFace
- Підтримка тензорного паралелізму для розподіленого висновку
Мова програмування
Python
Категорії
Це програма, яку також можна завантажити з https://sourceforge.net/projects/vllm.mirror/. Його розміщено в OnWorks, щоб його можна було найпростіше запускати онлайн з однієї з наших безкоштовних операційних систем.