Это приложение Linux под названием Pruna AI, последний релиз которого можно загрузить как Releasev0.2.9sourcecode.tar.gz. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите онлайн приложение Pruna AI с помощью OnWorks бесплатно.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ
Ad
Pruna AI
ОПИСАНИЕ
Pruna — это самостоятельный движок вывода ИИ с открытым исходным кодом, разработанный для того, чтобы помочь командам эффективно развертывать и управлять большими языковыми моделями (LLM) в частных или гибридных инфраструктурах. Созданный с учетом производительности и эргономики разработчиков, Pruna упрощает рабочие процессы вывода, обеспечивая оркестровку нескольких моделей, автоматическое масштабирование, распределение ресурсов GPU и совместимость с популярными моделями с открытым исходным кодом. Он идеально подходит для компаний или команд, которые хотят уменьшить зависимость от внешних API, сохраняя при этом скорость, экономическую эффективность и полный контроль над своими данными и стеком ИИ. С акцентом на расширяемость и наблюдаемость Pruna позволяет инженерам безопасно и надежно масштабировать приложения LLM от прототипа до производства.
Особенности
- Самостоятельный движок для управления выводом LLM
- Поддерживает многомодельную оркестровку и маршрутизацию
- Динамическое автомасштабирование для оптимизации ресурсов
- Планирование и балансировка нагрузки с учетом возможностей GPU
- Совместимость с моделями с открытым исходным кодом, такими как LLaMA и Mistral
- API HTTP и gRPC для легкой интеграции
- Встроенная возможность наблюдения и отслеживания производительности
- Готовность к развертыванию с поддержкой Docker и Kubernetes
Язык программирования
Питон
Категории
Это приложение, которое также можно загрузить с https://sourceforge.net/projects/pruna-ai.mirror/. Оно размещено в OnWorks для того, чтобы его можно было запустить онлайн самым простым способом из одной из наших бесплатных операционных систем.
