Это приложение для Linux под названием Petals, последнюю версию которого можно загрузить как v2.2.0_Falcon,macOSsupport иandmore.zip. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите онлайн это приложение под названием Petals with OnWorks бесплатно.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ:
Лепестки
ОПИСАНИЕ:
Запускайте более 100 миллиардов языковых моделей дома в стиле BitTorrent. Запускайте большие языковые модели, такие как BLOOM-176B, совместно — вы загружаете небольшую часть модели, а затем объединяетесь с людьми, обслуживающими другие части, для выполнения логических выводов или точной настройки. Однопакетный вывод выполняется со скоростью ≈ 1 с на шаг (токен) — до 10 раз быстрее, чем разгрузка, этого достаточно для чат-ботов и других интерактивных приложений. Параллельный вывод достигает сотен токенов/сек. Помимо классических API-интерфейсов языковых моделей — вы можете использовать любые методы тонкой настройки и выборки, выполнять настраиваемые пути через модель или просматривать ее скрытые состояния. Вы получаете удобство API с гибкостью PyTorch. Вы также можете разместить BLOOMZ, версию BLOOM, точно настроенную для выполнения инструкций человека в режиме нулевого выстрела — просто замените лепестки цветения на лепестки цветения. Petals работает с большими языковыми моделями, такими как BLOOM-176B, совместно — вы загружаете небольшую часть модели, а затем объединяетесь с людьми, обслуживающими другие части, для выполнения логических выводов или точной настройки.
Особенности
- Petals совместно запускает большие языковые модели, такие как BLOOM-176B.
- Однопакетный вывод выполняется со скоростью ≈ 1 с на шаг (токен)
- Помимо API классической языковой модели
- Вы можете использовать любой метод тонкой настройки и выборки
- Вы получаете удобство API с гибкостью PyTorch
- Параллельный вывод достигает сотен токенов в секунду
Язык программирования
Питон
Категории
Это приложение также можно загрузить с https://sourceforge.net/projects/petals.mirror/. Он был размещен в OnWorks, чтобы его можно было легко запускать в Интернете с помощью одной из наших бесплатных операционных систем.