이는 최신 릴리스를 Releasev0.2.30.zip으로 다운로드할 수 있는 FastChat이라는 Linux 앱입니다. 워크스테이션용 무료 호스팅 제공업체인 OnWorks에서 온라인으로 실행할 수 있습니다.
OnWorks와 함께 FastChat이라는 이 앱을 무료로 다운로드하여 온라인에서 실행하십시오.
이 앱을 실행하려면 다음 지침을 따르세요.
- 1. 이 애플리케이션을 PC에 다운로드했습니다.
- 2. 파일 관리자 https://www.onworks.net/myfiles.php?username=XXXXX에 원하는 사용자 이름을 입력합니다.
- 3. 이러한 파일 관리자에서 이 응용 프로그램을 업로드합니다.
- 4. 이 웹사이트에서 OnWorks Linux 온라인 또는 Windows 온라인 에뮬레이터 또는 MACOS 온라인 에뮬레이터를 시작합니다.
- 5. 방금 시작한 OnWorks Linux OS에서 원하는 사용자 이름으로 파일 관리자 https://www.onworks.net/myfiles.php?username=XXXXX로 이동합니다.
- 6. 응용 프로그램을 다운로드하여 설치하고 실행합니다.
스크린 샷
Ad
패스트채팅
기술
FastChat은 대규모 언어 모델 기반 챗봇을 교육, 제공 및 평가하기 위한 개방형 플랫폼입니다. 메모리가 충분하지 않은 경우 위 명령에 --load-8bit를 추가하여 8비트 압축을 활성화할 수 있습니다. 이렇게 하면 모델 품질이 약간 저하되면서 메모리 사용량을 약 절반으로 줄일 수 있습니다. CPU, GPU 및 Metal 백엔드와 호환됩니다. 13비트 압축을 갖춘 Vicuna-8B는 단일 NVIDIA 3090/4080/T4/V100(16GB) GPU에서 실행될 수 있습니다. 그 외에도 위 명령에 --cpu-offloading을 추가하여 GPU에 맞지 않는 가중치를 CPU 메모리로 오프로드할 수 있습니다. 이를 위해서는 8비트 압축을 활성화하고 Linux 운영 체제에서만 사용할 수 있는 bitandbytes 패키지를 설치해야 합니다.
특징
- 최첨단 모델의 가중치, 훈련 코드, 평가 코드
- 웹 UI 및 OpenAI 호환 RESTful API를 갖춘 분산형 다중 모델 제공 시스템
- 대규모 언어 모델 학습, 제공 및 평가용
- 무게 변환에 필요한 CPU RAM 요구 사항을 줄입니다.
- 명령줄 인터페이스를 사용한 추론
- 여러 지원 모델
프로그래밍 언어
Python
카테고리
이는 https://sourceforge.net/projects/fastchat.mirror/에서도 가져올 수 있는 애플리케이션입니다. 무료 운영 체제 중 하나에서 가장 쉬운 방법으로 온라인으로 실행하기 위해 OnWorks에서 호스팅되었습니다.