Ito ang Linux app na pinangalanang FastChat na ang pinakabagong release ay maaaring ma-download bilang Releasev0.2.30.zip. Maaari itong patakbuhin online sa libreng hosting provider na OnWorks para sa mga workstation.
I-download at patakbuhin online ang app na ito na pinangalanang FastChat sa OnWorks nang libre.
Sundin ang mga tagubiling ito upang patakbuhin ang app na ito:
- 1. Na-download ang application na ito sa iyong PC.
- 2. Ipasok sa aming file manager https://www.onworks.net/myfiles.php?username=XXXXX kasama ang username na gusto mo.
- 3. I-upload ang application na ito sa naturang filemanager.
- 4. Simulan ang OnWorks Linux online o Windows online emulator o MACOS online emulator mula sa website na ito.
- 5. Mula sa OnWorks Linux OS na kasisimula mo pa lang, pumunta sa aming file manager https://www.onworks.net/myfiles.php?username=XXXX gamit ang username na gusto mo.
- 6. I-download ang application, i-install ito at patakbuhin ito.
MGA LALAKI
Ad
FastChat
DESCRIPTION
Ang FastChat ay isang bukas na platform para sa pagsasanay, paghahatid, at pagsusuri ng malalaking wika na nakabatay sa modelo ng mga chatbot. Kung wala kang sapat na memorya, maaari mong paganahin ang 8-bit compression sa pamamagitan ng pagdaragdag ng --load-8bit sa mga command sa itaas. Maaari nitong bawasan ang paggamit ng memory ng humigit-kumulang kalahati na may bahagyang nasira na kalidad ng modelo. Tugma ito sa CPU, GPU, at Metal backend. Ang Vicuna-13B na may 8-bit na compression ay maaaring tumakbo sa isang NVIDIA 3090/4080/T4/V100(16GB) GPU. Bukod pa riyan, maaari kang magdagdag ng --cpu-offloading sa mga command sa itaas para i-offload ang mga timbang na hindi akma sa iyong GPU papunta sa memorya ng CPU. Nangangailangan ito ng 8-bit na compression upang paganahin at ang bitsandbytes package na mai-install, na magagamit lamang sa mga operating system ng linux.
Mga tampok
- Ang mga timbang, code ng pagsasanay, at code ng pagsusuri para sa mga makabagong modelo
- Isang distributed multi-model serving system na may Web UI at OpenAI-compatible na RESTful API
- Para sa pagsasanay, paghahatid, at pagsusuri ng malalaking modelo ng wika
- Bawasan ang kinakailangan ng CPU RAM para sa conversion ng timbang
- Hinuha gamit ang Command Line Interface
- Ilang sinusuportahang modelo
Wika ng Programming
Sawa
Kategorya
Ito ay isang application na maaari ding makuha mula sa https://sourceforge.net/projects/fastchat.mirror/. Na-host ito sa OnWorks upang mapatakbo online sa pinakamadaling paraan mula sa isa sa aming mga libreng Operative System.
