Đây là ứng dụng Linux có tên PEFT có bản phát hành mới nhất có thể được tải xuống dưới dạng GPTQQuantization, Low-levelAPI.zip. Nó có thể được chạy trực tuyến trong nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks dành cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng này có tên PEFT với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH
Ad
PEFT
MÔ TẢ
Các phương pháp Tinh chỉnh tham số hiệu quả (PEFT) cho phép điều chỉnh hiệu quả các mô hình ngôn ngữ được đào tạo trước (PLM) cho các ứng dụng tiếp theo khác nhau mà không cần tinh chỉnh tất cả các tham số của mô hình. Tinh chỉnh PLM quy mô lớn thường rất tốn kém. Về vấn đề này, các phương pháp PEFT chỉ tinh chỉnh một số lượng nhỏ các tham số mô hình (bổ sung), do đó giảm đáng kể chi phí tính toán và lưu trữ. Các kỹ thuật PEFT hiện đại gần đây đạt được hiệu suất tương đương với hiệu suất tinh chỉnh hoàn toàn.
Tính năng
- Tăng tốc cho các mô hình quy mô lớn tận dụng DeepSpeed và Suy luận mô hình lớn
- Có được hiệu suất tương đương với khả năng tinh chỉnh hoàn toàn bằng cách điều chỉnh LLM phù hợp với các tác vụ tiếp theo bằng phần cứng tiêu dùng
- Cần có bộ nhớ GPU để điều chỉnh LLM trên tập dữ liệu vài lần chụp
- Thông số Điều chỉnh hiệu quả các mô hình khuếch tán
- Bộ nhớ GPU được yêu cầu bởi các cài đặt khác nhau
- Tham số Điều chỉnh LLM hiệu quả cho các thành phần RLHF như Trình xếp hạng và Chính sách
Ngôn ngữ lập trình
Python
Danh Mục
Đây là một ứng dụng cũng có thể được tải xuống từ https://sourceforge.net/projects/peft.mirror/. Nó đã được lưu trữ trên OnWorks để có thể chạy trực tuyến một cách dễ dàng nhất từ một trong các Hệ điều hành miễn phí của chúng tôi.
