Це програма для Linux під назвою KubeAI, останню версію якої можна завантажити як helm-chart-kubeai-0.22.0sourcecode.tar.gz. Її можна запускати онлайн на безкоштовному хостинг-провайдері OnWorks для робочих станцій.
Завантажте та запустіть онлайн цю програму під назвою KubeAI з OnWorks безкоштовно.
Дотримуйтесь цих інструкцій, щоб запустити цю програму:
- 1. Завантажив цю програму на свій ПК.
- 2. Введіть у наш файловий менеджер https://www.onworks.net/myfiles.php?username=XXXXX із потрібним ім'ям користувача.
- 3. Завантажте цю програму в такий файловий менеджер.
- 4. Запустіть онлайн-емулятор OnWorks Linux або Windows або онлайн-емулятор MACOS з цього веб-сайту.
- 5. З ОС OnWorks Linux, яку ви щойно запустили, перейдіть до нашого файлового менеджера https://www.onworks.net/myfiles.php?username=XXXXX з потрібним іменем користувача.
- 6. Завантажте програму, встановіть її та запустіть.
ЕКРАНИ
Ad
KubeAI
ОПИС
Запустіть логічний висновок на Kubernetes: LLM, вбудовування, перетворення мовлення в текст. KubeAI обслуговує HTTP API, сумісний з OpenAI. Адміністратори можуть налаштовувати моделі машинного навчання за допомогою користувацьких ресурсів Model Kubernetes. KubeAI можна розглядати як оператор моделі (див. шаблон оператора), який керує серверами vLLM та Ollama.
Функції
- Заміна OpenAI з сумісністю API
- Обслуговувати провідні моделі OSS (LLM, Whisper тощо)
- Мультиплатформний: лише CPU, GPU, незабаром: TPU
- Масштабування від нуля, автоматичне масштабування залежно від навантаження
- Нульова залежність (не залежить від Istio, Knative тощо)
- Включено інтерфейс чату (OpenWebUI)
- Працює з серверами моделей OSS (vLLM, Ollama, FasterWhisper, Infinity)
- Потокове/пакетне виведення даних через інтеграції з обміном повідомленнями (Kafka, PubSub тощо)
Мова програмування
Go
Категорії
Цю програму також можна завантажити з https://sourceforge.net/projects/kubeai.mirror/. Вона розміщена на OnWorks для найпростішого запуску онлайн з однієї з наших безкоштовних операційних систем.
