Đây là ứng dụng Linux có tên FastChat có bản phát hành mới nhất có thể tải xuống dưới dạng Releasev0.2.30.zip. Nó có thể được chạy trực tuyến trong nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng có tên FastChat với OnWorks này miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH
Ad
trò chuyện nhanh
MÔ TẢ
FastChat là một nền tảng mở để đào tạo, phục vụ và đánh giá các chatbot dựa trên mô hình ngôn ngữ lớn. Nếu không có đủ bộ nhớ, bạn có thể kích hoạt tính năng nén 8-bit bằng cách thêm --load-8bit vào các lệnh trên. Điều này có thể giảm khoảng một nửa mức sử dụng bộ nhớ với chất lượng mô hình hơi giảm sút. Nó tương thích với phụ trợ CPU, GPU và Metal. Vicuna-13B với khả năng nén 8-bit có thể chạy trên một GPU NVIDIA 3090/4080/T4/V100(16GB). Ngoài ra, bạn có thể thêm --cpu-offloading vào các lệnh ở trên để giảm trọng lượng không phù hợp với GPU của bạn vào bộ nhớ CPU. Điều này yêu cầu bật tính năng nén 8 bit và cài đặt gói bitsandbytes, gói này chỉ khả dụng trên hệ điều hành linux.
Tính năng
- Các trọng số, mã đào tạo và mã đánh giá cho các mô hình hiện đại
- Hệ thống phân phát đa mô hình phân tán với giao diện người dùng web và API RESTful tương thích với OpenAI
- Để đào tạo, phục vụ và đánh giá các mô hình ngôn ngữ lớn
- Giảm yêu cầu RAM CPU khi chuyển đổi trọng lượng
- Suy luận với giao diện dòng lệnh
- Một số mô hình được hỗ trợ
Ngôn ngữ lập trình
Python
Categories
Đây là một ứng dụng cũng có thể được tìm nạp từ https://sourceforge.net/projects/fastchat.mirror/. Nó đã được lưu trữ trong OnWorks để có thể chạy trực tuyến theo cách dễ dàng nhất từ một trong các Hệ điều hành miễn phí của chúng tôi.
