Đây là ứng dụng Linux có tên Petals có bản phát hành mới nhất có thể được tải xuống dưới dạng v2.2.0_Falcon,macOSsupport,andmore.zip. Nó có thể được chạy trực tuyến trong nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks dành cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng này có tên Cánh hoa với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH
Ad
Cánh hoa
MÔ TẢ
Chạy hơn 100 tỷ mô hình ngôn ngữ tại nhà, kiểu BitTorrent. Chạy các mô hình ngôn ngữ lớn như BLOOM-176B một cách cộng tác — bạn tải một phần nhỏ của mô hình, sau đó hợp tác với những người phục vụ các phần khác để chạy suy luận hoặc tinh chỉnh. Suy luận một đợt chạy với tốc độ ≈ 1 giây mỗi bước (mã thông báo) — nhanh hơn tới 10 lần so với giảm tải, đủ cho chatbot và các ứng dụng tương tác khác. Suy luận song song đạt hàng trăm mã thông báo/giây. Ngoài các API mô hình ngôn ngữ cổ điển — bạn có thể sử dụng bất kỳ phương pháp tinh chỉnh và lấy mẫu nào, thực hiện các đường dẫn tùy chỉnh thông qua mô hình hoặc xem các trạng thái ẩn của mô hình. Bạn có được sự thoải mái của một API với tính linh hoạt của PyTorch. Bạn cũng có thể lưu trữ BLOOMZ, một phiên bản của BLOOM được tinh chỉnh để làm theo hướng dẫn của con người trong chế độ không ảnh — chỉ cần thay thế cánh hoa nở bằng cánh hoa nở. Petals chạy các mô hình ngôn ngữ lớn như BLOOM-176B một cách cộng tác — bạn tải một phần nhỏ của mô hình, sau đó hợp tác với những người phục vụ các phần khác để chạy suy luận hoặc tinh chỉnh.
Tính năng
- Cánh hoa chạy các mô hình ngôn ngữ lớn như BLOOM-176B một cách cộng tác
- Suy luận một đợt chạy với tốc độ ≈ 1 giây mỗi bước (mã thông báo)
- Ngoài API mô hình ngôn ngữ cổ điển
- Bạn có thể sử dụng bất kỳ phương pháp tinh chỉnh và lấy mẫu nào
- Bạn có được sự thoải mái của một API với tính linh hoạt của PyTorch
- Suy luận song song đạt hàng trăm mã thông báo/giây
Ngôn ngữ lập trình
Python
Categories
Đây là một ứng dụng cũng có thể được tìm nạp từ https://sourceforge.net/projects/petals.mirror/. Nó đã được lưu trữ trong OnWorks để có thể chạy trực tuyến theo cách dễ dàng nhất từ một trong các Hệ điều hành miễn phí của chúng tôi.
