Esta es la aplicación para Linux llamada KubeAI, cuya última versión se puede descargar como helm-chart-kubeai-0.22.0sourcecode.tar.gz. Se puede ejecutar en línea en el proveedor de alojamiento gratuito OnWorks para estaciones de trabajo.
Descargue y ejecute en línea esta aplicación llamada KubeAI con OnWorks de forma gratuita.
Siga estas instrucciones para ejecutar esta aplicación:
- 1. Descargue esta aplicación en su PC.
- 2. Ingrese en nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 3. Cargue esta aplicación en dicho administrador de archivos.
- 4. Inicie el emulador en línea OnWorks Linux o Windows en línea o el emulador en línea MACOS desde este sitio web.
- 5. Desde el SO OnWorks Linux que acaba de iniciar, vaya a nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 6. Descarga la aplicación, instálala y ejecútala.
SCREENSHOTS
Ad
KubeAI
DESCRIPCIÓN
Ejecute la inferencia en Kubernetes: LLM, incrustaciones y conversión de voz a texto. KubeAI ofrece una API HTTP compatible con OpenAI. Los administradores pueden configurar modelos de aprendizaje automático mediante los recursos personalizados de Kubernetes para modelos. KubeAI puede considerarse un operador de modelos (consulte el patrón de operador) que administra los servidores vLLM y Ollama.
Caracteristicas
- Reemplazo directo para OpenAI con compatibilidad con API
- Servir a los mejores modelos OSS (LLM, Whisper, etc.)
- Multiplataforma: solo CPU, GPU, próximamente: TPU
- Escala desde cero, escala automática según la carga
- Cero dependencias (no depende de Istio, Knative, etc.)
- Interfaz de chat incluida (OpenWebUI)
- Opera servidores modelo OSS (vLLM, Ollama, FasterWhisper, Infinity)
- Inferencia de flujo/lote mediante integraciones de mensajería (Kafka, PubSub, etc.)
Lenguaje de programación
Go
Categorías
Esta aplicación también se puede descargar desde https://sourceforge.net/projects/kubeai.mirror/. Está alojada en OnWorks para facilitar su ejecución en línea desde uno de nuestros sistemas operativos gratuitos.
