Đây là ứng dụng Linux có tên Text Generation Inference, phiên bản mới nhất có thể tải xuống dưới dạng v3.3.6sourcecode.tar.gz. Có thể chạy trực tuyến trên nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng có tên Text Generation Inference với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH
Ad
Suy luận tạo văn bản
MÔ TẢ
Text Generation Inference là máy chủ suy luận hiệu suất cao cho các mô hình tạo văn bản, được tối ưu hóa cho Transformers của Hugging Face. Nó được thiết kế để phục vụ các mô hình ngôn ngữ lớn một cách hiệu quả với các tối ưu hóa về hiệu suất và khả năng mở rộng.
Tính năng
- Được tối ưu hóa để phục vụ các mô hình ngôn ngữ lớn (LLM)
- Hỗ trợ xử lý theo lô và song song để đạt thông lượng cao
- Hỗ trợ lượng tử hóa để cải thiện hiệu suất
- Triển khai dựa trên API để tích hợp dễ dàng
- Tăng tốc GPU và mở rộng đa nút
- Phát trực tuyến mã thông báo tích hợp để phản hồi theo thời gian thực
Ngôn ngữ lập trình
Python
Danh Mục
Đây là ứng dụng cũng có thể được tải về từ https://sourceforge.net/projects/text-generation-infer.mirror/. Ứng dụng này được lưu trữ trên OnWorks để có thể chạy trực tuyến theo cách dễ dàng nhất từ một trong những Hệ điều hành miễn phí của chúng tôi.
