Đây là ứng dụng Windows có tên Text Generation Inference, bản phát hành mới nhất có thể tải xuống dưới dạng v3.3.2sourcecode.zip. Có thể chạy trực tuyến trên nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng có tên Text Generation Inference với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động bất kỳ trình giả lập trực tuyến OS OnWorks nào từ trang web này, nhưng trình giả lập trực tuyến Windows tốt hơn.
- 5. Từ Hệ điều hành Windows OnWorks bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng và cài đặt nó.
- 7. Tải xuống Wine từ kho phần mềm phân phối Linux của bạn. Sau khi cài đặt, bạn có thể nhấp đúp vào ứng dụng để chạy chúng với Wine. Bạn cũng có thể thử PlayOnLinux, một giao diện đẹp mắt trên Wine sẽ giúp bạn cài đặt các chương trình và trò chơi phổ biến của Windows.
Wine là một cách để chạy phần mềm Windows trên Linux, nhưng không cần Windows. Wine là một lớp tương thích Windows mã nguồn mở có thể chạy các chương trình Windows trực tiếp trên bất kỳ máy tính để bàn Linux nào. Về cơ bản, Wine đang cố gắng triển khai lại đủ Windows từ đầu để nó có thể chạy tất cả các ứng dụng Windows đó mà không thực sự cần đến Windows.
MÀN HÌNH:
Suy luận tạo văn bản
SỰ MIÊU TẢ:
Text Generation Inference là máy chủ suy luận hiệu suất cao cho các mô hình tạo văn bản, được tối ưu hóa cho Transformers của Hugging Face. Nó được thiết kế để phục vụ các mô hình ngôn ngữ lớn một cách hiệu quả với các tối ưu hóa về hiệu suất và khả năng mở rộng.
Tính năng
- Được tối ưu hóa để phục vụ các mô hình ngôn ngữ lớn (LLM)
- Hỗ trợ xử lý theo lô và song song để đạt thông lượng cao
- Hỗ trợ lượng tử hóa để cải thiện hiệu suất
- Triển khai dựa trên API để tích hợp dễ dàng
- Tăng tốc GPU và mở rộng đa nút
- Phát trực tuyến mã thông báo tích hợp để phản hồi theo thời gian thực
Ngôn ngữ lập trình
Python
Danh Mục
Đây là ứng dụng cũng có thể được tải về từ https://sourceforge.net/projects/text-generation-infer.mirror/. Ứng dụng này được lưu trữ trên OnWorks để có thể chạy trực tuyến theo cách dễ dàng nhất từ một trong những Hệ điều hành miễn phí của chúng tôi.