Questa è l'app Linux denominata FastChat la cui ultima versione può essere scaricata come Releasev0.2.30.zip. Può essere eseguito online nel provider di hosting gratuito OnWorks per workstation.
Scarica ed esegui online gratuitamente questa app denominata FastChat con OnWorks.
Segui queste istruzioni per eseguire questa app:
- 1. Scaricata questa applicazione sul tuo PC.
- 2. Entra nel nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 3. Carica questa applicazione in tale file manager.
- 4. Avviare l'emulatore online OnWorks Linux o Windows online o l'emulatore online MACOS da questo sito Web.
- 5. Dal sistema operativo OnWorks Linux che hai appena avviato, vai al nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 6. Scarica l'applicazione, installala ed eseguila.
IMMAGINI
Ad
Chat veloce
DESCRIZIONE
FastChat è una piattaforma aperta per la formazione, il servizio e la valutazione di chatbot basati su modelli linguistici di grandi dimensioni. Se non disponi di memoria sufficiente, puoi abilitare la compressione a 8 bit aggiungendo --load-8bit ai comandi precedenti. Ciò può ridurre l'utilizzo della memoria di circa la metà con una qualità del modello leggermente ridotta. È compatibile con CPU, GPU e backend Metal. Vicuna-13B con compressione a 8 bit può essere eseguito su una singola GPU NVIDIA 3090/4080/T4/V100(16GB). In aggiunta a ciò, puoi aggiungere --cpu-offloading ai comandi sopra per scaricare i pesi che non si adattano alla tua GPU sulla memoria della CPU. Ciò richiede l'abilitazione della compressione a 8 bit e l'installazione del pacchetto bitsandbytes, disponibile solo sui sistemi operativi Linux.
Caratteristiche
- I pesi, il codice di addestramento e il codice di valutazione per i modelli allo stato dell'arte
- Un sistema di servizio multimodello distribuito con interfaccia utente Web e API RESTful compatibili con OpenAI
- Per la formazione, il servizio e la valutazione di modelli linguistici di grandi dimensioni
- Ridurre il fabbisogno di RAM della CPU per la conversione del peso
- Inferenza con interfaccia a riga di comando
- Diversi modelli supportati
Linguaggio di programmazione
Python
Categorie
Questa è un'applicazione che può essere recuperata anche da https://sourceforge.net/projects/fastchat.mirror/. È stato ospitato su OnWorks per poter essere eseguito online in modo più semplice da uno dei nostri sistemi operativi gratuiti.
