Це програма для Linux під назвою FastChat, останню версію якої можна завантажити як Releasev0.2.30.zip. Його можна запустити онлайн у безкоштовного хостинг-провайдера OnWorks для робочих станцій.
Завантажте та запустіть онлайн цю програму під назвою FastChat з OnWorks безкоштовно.
Дотримуйтесь цих інструкцій, щоб запустити цю програму:
- 1. Завантажив цю програму на свій ПК.
- 2. Введіть у наш файловий менеджер https://www.onworks.net/myfiles.php?username=XXXXX із потрібним ім'ям користувача.
- 3. Завантажте цю програму в такий файловий менеджер.
- 4. Запустіть онлайн-емулятор OnWorks Linux або Windows або онлайн-емулятор MACOS з цього веб-сайту.
- 5. З ОС OnWorks Linux, яку ви щойно запустили, перейдіть до нашого файлового менеджера https://www.onworks.net/myfiles.php?username=XXXXX з потрібним іменем користувача.
- 6. Завантажте програму, встановіть її та запустіть.
СКРЕНИ:
FastChat
ОПИС:
FastChat — це відкрита платформа для навчання, обслуговування та оцінювання чат-ботів на основі великих мовних моделей. Якщо у вас недостатньо пам’яті, ви можете ввімкнути 8-бітове стиснення, додавши --load-8bit до наведених вище команд. Це може зменшити використання пам’яті приблизно вдвічі з дещо погіршеною якістю моделі. Він сумісний із процесором, графічним процесором і бекендом Metal. Vicuna-13B з 8-бітним стисненням може працювати на одному графічному процесорі NVIDIA 3090/4080/T4/V100 (16 ГБ). На додаток до цього, ви можете додати --cpu-offloading до команд вище, щоб перевантажувати ваги, які не поміщаються на вашому GPU, у пам’ять CPU. Для цього потрібно ввімкнути 8-розрядне стиснення та встановити пакет bitsandbytes, який доступний лише в операційних системах Linux.
риси
- Ваги, навчальний код і код оцінки для найсучасніших моделей
- Розподілена багатомодельна система обслуговування з веб-інтерфейсом користувача та сумісними з OpenAI RESTful API
- Для навчання, обслуговування та оцінки великих мовних моделей
- Зменшіть вимоги до оперативної пам’яті ЦП для перетворення ваги
- Висновок за допомогою інтерфейсу командного рядка
- Кілька підтримуваних моделей
Мова програмування
Python
Категорії
Це програма, яку також можна завантажити з https://sourceforge.net/projects/fastchat.mirror/. Його розміщено в OnWorks, щоб його можна було найпростіше запускати онлайн з однієї з наших безкоштовних операційних систем.