Questa è l'app Linux denominata Xorbits Inference la cui ultima versione può essere scaricata come v0.5.3sourcecode.zip. Può essere eseguito online nel provider di hosting gratuito OnWorks per workstation.
Scarica ed esegui online gratuitamente questa app denominata Xorbits Inference con OnWorks.
Segui queste istruzioni per eseguire questa app:
- 1. Scaricata questa applicazione sul tuo PC.
- 2. Entra nel nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 3. Carica questa applicazione in tale file manager.
- 4. Avviare l'emulatore online OnWorks Linux o Windows online o l'emulatore online MACOS da questo sito Web.
- 5. Dal sistema operativo OnWorks Linux che hai appena avviato, vai al nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 6. Scarica l'applicazione, installala ed eseguila.
IMMAGINI
Ad
Inferenza Xorbits
DESCRIZIONE
Sostituisci OpenAI GPT con un altro LLM nella tua app modificando una singola riga di codice. Xinference ti dà la libertà di utilizzare qualsiasi LLM di cui hai bisogno. Con Xinference, hai la possibilità di eseguire l'inferenza con qualsiasi modello linguistico open source, modello di riconoscimento vocale e modello multimodale, sia nel cloud, in locale o persino sul tuo laptop. Xorbits Inference (Xinference) è una libreria potente e versatile progettata per servire modelli linguistici, di riconoscimento vocale e multimodali. Con Xorbits Inference, puoi distribuire e servire facilmente i tuoi modelli integrati all'avanguardia utilizzando un solo comando. Che tu sia un ricercatore, uno sviluppatore o un data scientist, Xorbits Inference ti consente di sfruttare tutto il potenziale dei modelli IA all'avanguardia.
Caratteristiche
- Semplifica il processo di fornitura di modelli linguistici, di riconoscimento vocale e multimodali di grandi dimensioni
- Puoi impostare e distribuire i tuoi modelli per la sperimentazione e la produzione con un unico comando
- Sperimenta modelli integrati all'avanguardia utilizzando un unico comando
- Ottieni il massimo dalle tue risorse hardware con ggml
- Offri più interfacce per interagire con i tuoi modelli, supportando RPC, API RESTful (compatibile con API OpenAI), CLI e WebUI per una gestione e un monitoraggio senza soluzione di continuità
- Eccelle negli scenari di distribuzione distribuita, consentendo la distribuzione continua dell'inferenza del modello su più dispositivi o macchine
Linguaggio di programmazione
Python
Categorie
Questa è un'applicazione che può essere recuperata anche da https://sourceforge.net/projects/xorbits-inference.mirror/. È stato ospitato su OnWorks per poter essere eseguito online in modo più semplice da uno dei nostri sistemi operativi gratuiti.
