To jest aplikacja dla systemu Linux o nazwie FastChat, której najnowszą wersję można pobrać jako Releasev0.2.30.zip. Można go uruchomić online w darmowym dostawcy usług hostingowych OnWorks dla stacji roboczych.
Pobierz i uruchom online tę aplikację o nazwie FastChat with OnWorks za darmo.
Postępuj zgodnie z tymi instrukcjami, aby uruchomić tę aplikację:
- 1. Pobrałem tę aplikację na swój komputer.
- 2. Wpisz w naszym menedżerze plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 3. Prześlij tę aplikację w takim menedżerze plików.
- 4. Uruchom emulator online OnWorks Linux lub Windows online lub emulator online MACOS z tej witryny.
- 5. W systemie operacyjnym OnWorks Linux, który właśnie uruchomiłeś, przejdź do naszego menedżera plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 6. Pobierz aplikację, zainstaluj ją i uruchom.
ZRZUTY EKRANU
Ad
Szybki czat
OPIS
FastChat to otwarta platforma do szkolenia, obsługi i oceny dużych chatbotów opartych na modelach językowych. Jeśli nie masz wystarczającej ilości pamięci, możesz włączyć kompresję 8-bitową, dodając opcję --load-8bit do powyższych poleceń. Może to zmniejszyć zużycie pamięci o około połowę przy nieznacznie obniżonej jakości modelu. Jest kompatybilny z CPU, GPU i metalowym backendem. Vicuna-13B z 8-bitową kompresją może działać na pojedynczym procesorze graficznym NVIDIA 3090/4080/T4/V100 (16 GB). Oprócz tego możesz dodać --cpu-offloading do powyższych poleceń, aby odciążyć pamięć procesora, która nie mieści się na twoim GPU. Wymaga to włączenia kompresji 8-bitowej i zainstalowania pakietu bitsandbytes, który jest dostępny tylko w systemach operacyjnych Linux.
Korzyści
- Wagi, kod szkolenia i kod oceny dla najnowocześniejszych modeli
- Rozproszony wielomodelowy system obsługujący z interfejsem WWW i interfejsami API RESTful zgodnymi z OpenAI
- Do szkolenia, obsługi i oceny dużych modeli językowych
- Zmniejsz wymagania dotyczące pamięci RAM procesora do konwersji wagi
- Wnioskowanie z interfejsem wiersza poleceń
- Kilka obsługiwanych modeli
Język programowania
Python
Kategorie
Jest to aplikacja, którą można również pobrać z https://sourceforge.net/projects/fastchat.mirror/. Został umieszczony w OnWorks, aby można go było uruchomić online w najprostszy sposób z jednego z naszych bezpłatnych systemów operacyjnych.
