Aceasta este aplicația Linux numită KubeAI, a cărei ultimă versiune poate fi descărcată sub numele helm-chart-kubeai-0.22.0sourcecode.tar.gz. Poate fi rulată online în furnizorul de găzduire gratuită OnWorks pentru stații de lucru.
Descărcați și rulați online gratuit această aplicație numită KubeAI cu OnWorks.
Urmați aceste instrucțiuni pentru a rula această aplicație:
- 1. Ați descărcat această aplicație pe computer.
- 2. Introduceți în managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator pe care îl doriți.
- 3. Încărcați această aplicație într-un astfel de manager de fișiere.
- 4. Porniți emulatorul online OnWorks Linux sau Windows online sau emulatorul online MACOS de pe acest site web.
- 5. Din sistemul de operare OnWorks Linux pe care tocmai l-ați pornit, accesați managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator dorit.
- 6. Descărcați aplicația, instalați-o și rulați-o.
SCREENSHOTS
Ad
KubeAI
DESCRIERE
Rulați inferențele pe Kubernetes: LLM-uri, încorporări, vorbire în text. KubeAI deservește o API HTTP compatibilă cu OpenAI. Administratorii pot configura modele ML utilizând resursele personalizate Model Kubernetes. KubeAI poate fi considerat un operator de model (consultați modelul de operator) care gestionează serverele vLLM și Ollama.
Categorii
- Înlocuitor drop-in pentru OpenAI cu compatibilitate API
- Deservește modele OSS de top (LLM, Whisper etc.)
- Multi-platformă: doar CPU, GPU, în curând: TPU
- Scalare de la zero, scalare automată în funcție de sarcină
- Zero dependențe (nu depinde de Istio, Knative etc.)
- Interfață de chat inclusă (OpenWebUI)
- Operează servere model OSS (vLLM, Ollama, FasterWhisper, Infinity)
- Inferență în flux/lot prin integrări de mesagerie (Kafka, PubSub etc.)
Limbaj de programare
Go
Categorii
Aceasta este o aplicație care poate fi descărcată și de la https://sourceforge.net/projects/kubeai.mirror/. A fost găzduită în OnWorks pentru a putea fi rulată online în cel mai simplu mod de pe unul dintre sistemele noastre de operare gratuite.
