Dit is de Linux-app genaamd FastChat waarvan de nieuwste release kan worden gedownload als Releasev0.2.30.zip. Het kan online worden uitgevoerd in de gratis hostingprovider OnWorks voor werkstations.
Download en voer deze app genaamd FastChat gratis uit met OnWorks.
Volg deze instructies om deze app uit te voeren:
- 1. Download deze applicatie op uw pc.
- 2. Voer in onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX in met de gebruikersnaam die u wilt.
- 3. Upload deze applicatie in zo'n bestandsbeheerder.
- 4. Start de OnWorks Linux online of Windows online emulator of MACOS online emulator vanaf deze website.
- 5. Ga vanuit het OnWorks Linux-besturingssysteem dat u zojuist hebt gestart naar onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX met de gewenste gebruikersnaam.
- 6. Download de applicatie, installeer hem en voer hem uit.
SCREENSHOTS
Ad
SnelChat
PRODUCTBESCHRIJVING
FastChat is een open platform voor het trainen, bedienen en evalueren van op grote taalmodellen gebaseerde chatbots. Als u niet genoeg geheugen heeft, kunt u 8-bits compressie inschakelen door --load-8bit toe te voegen aan de bovenstaande opdrachten. Dit kan het geheugengebruik met ongeveer de helft verminderen, terwijl de modelkwaliteit enigszins verslechtert. Het is compatibel met de CPU, GPU en Metal-backend. Vicuna-13B met 8-bit compressie kan draaien op een enkele NVIDIA 3090/4080/T4/V100(16GB) GPU. Daarnaast kun je --cpu-offloading toevoegen aan de bovenstaande opdrachten om gewichten die niet op je GPU passen naar het CPU-geheugen te verplaatsen. Hiervoor moet 8-bits compressie zijn ingeschakeld en moet het bitsandbytes-pakket zijn geïnstalleerd, wat alleen beschikbaar is op Linux-besturingssystemen.
Voordelen
- De gewichten, trainingscode en evaluatiecode voor de modernste modellen
- Een gedistribueerd serveersysteem met meerdere modellen met Web UI en OpenAI-compatibele RESTful API's
- Voor het trainen, bedienen en evalueren van grote taalmodellen
- Verminder de CPU-RAM-vereiste voor gewichtsconversie
- Inferentie met opdrachtregelinterface
- Verschillende ondersteunde modellen
Programmeertaal
Python
Categorieën
Dit is een applicatie die ook kan worden opgehaald van https://sourceforge.net/projects/fastchat.mirror/. Het is gehost in OnWorks zodat het op de eenvoudigste manier online kan worden uitgevoerd vanaf een van onze gratis besturingssystemen.