Dit is de Linux-app KubeAI, waarvan de nieuwste versie kan worden gedownload als helm-chart-kubeai-0.22.0sourcecode.tar.gz. Deze kan online worden uitgevoerd via de gratis hostingprovider OnWorks voor werkstations.
Download en gebruik online gratis deze app genaamd KubeAI met OnWorks.
Volg deze instructies om deze app uit te voeren:
- 1. Download deze applicatie op uw pc.
- 2. Voer in onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX in met de gebruikersnaam die u wilt.
- 3. Upload deze applicatie in zo'n bestandsbeheerder.
- 4. Start de OnWorks Linux online of Windows online emulator of MACOS online emulator vanaf deze website.
- 5. Ga vanuit het OnWorks Linux-besturingssysteem dat u zojuist hebt gestart naar onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX met de gewenste gebruikersnaam.
- 6. Download de applicatie, installeer hem en voer hem uit.
SCREENSHOTS
Ad
KubeAI
PRODUCTBESCHRIJVING
Voer inferencing uit op Kubernetes: LLM's, embeddings, spraak-naar-tekst. KubeAI biedt een OpenAI-compatibele HTTP API. Beheerders kunnen ML-modellen configureren met behulp van de Model Kubernetes Custom Resources. KubeAI kan worden beschouwd als een Model Operator (zie Operatorpatroon) die vLLM- en Ollama-servers beheert.
Kenmerken
- Drop-in vervanging voor OpenAI met API-compatibiliteit
- Bedien de beste OSS-modellen (LLM's, Whisper, etc.)
- Multiplatform: alleen CPU, GPU, binnenkort beschikbaar: TPU
- Schaal vanaf nul, automatisch schalen op basis van de belasting
- Geen afhankelijkheden (niet afhankelijk van Istio, Knative, etc.)
- Chat-UI inbegrepen (OpenWebUI)
- Beheert OSS-modelservers (vLLM, Ollama, FasterWhisper, Infinity)
- Stream-/batch-inferentie via berichtenintegraties (Kafka, PubSub, enz.)
Programmeertaal
Go
Categorieën
Deze applicatie kan ook worden gedownload van https://sourceforge.net/projects/kubeai.mirror/. Deze is gehost in OnWorks, zodat deze eenvoudig online kan worden uitgevoerd via een van onze gratis besturingssystemen.
