Это приложение для Linux под названием KubeAI, последнюю версию которого можно скачать как helm-chart-kubeai-0.22.0sourcecode.tar.gz. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите онлайн это приложение под названием KubeAI с помощью OnWorks бесплатно.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ
Ad
KubeAI
ОПИСАНИЕ
Запустите вывод на Kubernetes: LLM, встраивание, преобразование речи в текст. KubeAI обслуживает совместимый с OpenAI HTTP API. Администраторы могут настраивать модели машинного обучения с помощью пользовательских ресурсов Model Kubernetes. KubeAI можно рассматривать как оператор модели (см. шаблон оператора), который управляет серверами vLLM и Ollama.
Особенности
- Простая замена OpenAI с совместимостью с API
- Обслуживайте ведущие модели OSS (LLM, Whisper и т. д.)
- Мультиплатформенность: только CPU, GPU, скоро: TPU
- Масштабирование с нуля, автоматическое масштабирование в зависимости от нагрузки
- Никаких зависимостей (не зависит от Istio, Knative и т. д.)
- Включен пользовательский интерфейс чата (OpenWebUI)
- Управляет серверами модели OSS (vLLM, Ollama, FasterWhisper, Infinity)
- Потоковое/пакетное выведение данных посредством интеграции обмена сообщениями (Kafka, PubSub и т. д.)
Язык программирования
Go
Категории
Это приложение, которое также можно загрузить с https://sourceforge.net/projects/kubeai.mirror/. Оно размещено в OnWorks для того, чтобы его можно было запустить онлайн самым простым способом из одной из наших бесплатных операционных систем.
