Ini ialah apl Linux bernama FastChat yang keluaran terbarunya boleh dimuat turun sebagai Releasev0.2.30.zip. Ia boleh dijalankan dalam talian dalam penyedia pengehosan percuma OnWorks untuk stesen kerja.
Muat turun dan jalankan dalam talian apl bernama FastChat dengan OnWorks ini secara percuma.
Ikut arahan ini untuk menjalankan apl ini:
- 1. Memuat turun aplikasi ini dalam PC anda.
- 2. Masukkan dalam pengurus fail kami https://www.onworks.net/myfiles.php?username=XXXXX dengan nama pengguna yang anda mahukan.
- 3. Muat naik aplikasi ini dalam pengurus filem tersebut.
- 4. Mulakan OnWorks Linux dalam talian atau emulator dalam talian Windows atau emulator dalam talian MACOS dari tapak web ini.
- 5. Daripada OS Linux OnWorks yang baru anda mulakan, pergi ke pengurus fail kami https://www.onworks.net/myfiles.php?username=XXXX dengan nama pengguna yang anda mahukan.
- 6. Muat turun aplikasi, pasang dan jalankan.
SKRIN:
FastChat
HURAIAN:
FastChat ialah platform terbuka untuk melatih, melayani dan menilai chatbot berasaskan model bahasa besar. Jika anda tidak mempunyai memori yang mencukupi, anda boleh mendayakan pemampatan 8-bit dengan menambahkan --load-8bit pada arahan di atas. Ini boleh mengurangkan penggunaan memori sebanyak kira-kira separuh dengan kualiti model yang sedikit terdegradasi. Ia serasi dengan CPU, GPU dan bahagian belakang Metal. Vicuna-13B dengan pemampatan 8-bit boleh dijalankan pada satu GPU NVIDIA 3090/4080/T4/V100(16GB). Selain itu, anda boleh menambah --cpu-offloading pada arahan di atas untuk memunggah pemberat yang tidak sesuai pada GPU anda ke memori CPU. Ini memerlukan pemampatan 8-bit untuk didayakan dan pakej bitsandbytes untuk dipasang, yang hanya tersedia pada sistem pengendalian linux.
Ciri-ciri
- Pemberat, kod latihan dan kod penilaian untuk model terkini
- Sistem penyajian berbilang model yang diedarkan dengan UI Web dan API RESTful yang serasi dengan OpenAI
- Untuk melatih, melayani dan menilai model bahasa yang besar
- Kurangkan keperluan CPU RAM untuk penukaran berat
- Inferens dengan Antara Muka Baris Perintah
- Beberapa model yang disokong
Bahasa Pengaturcaraan
Python
Kategori
Ini adalah aplikasi yang juga boleh diambil dari https://sourceforge.net/projects/fastchat.mirror/. Ia telah dihoskan dalam OnWorks untuk dijalankan dalam talian dengan cara yang paling mudah daripada salah satu Sistem Operasi percuma kami.