Aceasta este aplicația Linux numită FastChat a cărei ultimă versiune poate fi descărcată ca Releasev0.2.30.zip. Poate fi rulat online în furnizorul gratuit de găzduire OnWorks pentru stații de lucru.
Descărcați și rulați online această aplicație numită FastChat cu OnWorks gratuit.
Urmați aceste instrucțiuni pentru a rula această aplicație:
- 1. Ați descărcat această aplicație pe computer.
- 2. Introduceți în managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator pe care îl doriți.
- 3. Încărcați această aplicație într-un astfel de manager de fișiere.
- 4. Porniți emulatorul online OnWorks Linux sau Windows online sau emulatorul online MACOS de pe acest site web.
- 5. Din sistemul de operare OnWorks Linux pe care tocmai l-ați pornit, accesați managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator dorit.
- 6. Descărcați aplicația, instalați-o și rulați-o.
SCREENSHOTS
Ad
FastChat
DESCRIERE
FastChat este o platformă deschisă pentru instruirea, servirea și evaluarea chatbot-urilor mari bazate pe modele de limbă. Dacă nu aveți suficientă memorie, puteți activa compresia pe 8 biți adăugând --load-8bit la comenzile de mai sus. Acest lucru poate reduce utilizarea memoriei cu aproximativ jumătate, cu o calitate ușor degradată a modelului. Este compatibil cu CPU, GPU și backend Metal. Vicuna-13B cu compresie pe 8 biți poate rula pe un singur GPU NVIDIA 3090/4080/T4/V100(16GB). În plus, puteți adăuga --cpu-offloading la comenzile de mai sus pentru a descărca greutățile care nu se potrivesc pe GPU-ul dvs. în memoria CPU. Aceasta necesită activarea compresiei pe 8 biți și instalarea pachetului bitsandbytes, care este disponibil numai pe sistemele de operare Linux.
DESCRIERE
- Greutățile, codul de antrenament și codul de evaluare pentru modelele de ultimă generație
- Un sistem de servire distribuit cu mai multe modele cu UI Web și API-uri RESTful compatibile cu OpenAI
- Pentru instruirea, servirea și evaluarea modelelor de limbă mari
- Reduceți necesarul de memorie RAM al procesorului pentru conversia greutății
- Inferență cu interfața liniei de comandă
- Mai multe modele acceptate
Limbaj de programare
Piton
Categorii
Aceasta este o aplicație care poate fi preluată și de la https://sourceforge.net/projects/fastchat.mirror/. A fost găzduit în OnWorks pentru a fi rulat online într-un mod cât mai ușor de pe unul dintre sistemele noastre operative gratuite.