Đây là ứng dụng Linux có tên SGLang, phiên bản mới nhất có thể tải xuống dưới dạng Releasev0.5.2sourcecode.tar.gz. Có thể chạy trực tuyến trên nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng có tên SGLang với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH
Ad
SGlang
MÔ TẢ
SGLang là một khuôn khổ phục vụ nhanh cho các mô hình ngôn ngữ lớn và các mô hình ngôn ngữ tầm nhìn. Nó giúp tương tác của bạn với các mô hình nhanh hơn và dễ kiểm soát hơn bằng cách đồng thiết kế thời gian chạy phụ trợ và ngôn ngữ giao diện.
Tính năng
- Cung cấp dịch vụ hiệu quả với RadixAttention cho bộ nhớ đệm tiền tố, giải mã bị hạn chế nhảy về phía trước, bộ lập lịch CPU không tốn chi phí, xử lý hàng loạt liên tục, chú ý mã thông báo (chú ý phân trang), song song tenxơ, hạt nhân FlashInfer, điền trước theo khối và lượng tử hóa (FP8/INT4/AWQ/GPTQ)
- Cung cấp giao diện trực quan để lập trình các ứng dụng LLM, bao gồm các lệnh gọi tạo chuỗi, nhắc nhở nâng cao, luồng điều khiển, đầu vào đa phương thức, tính song song và tương tác bên ngoài
- Hỗ trợ nhiều mô hình tạo sinh (Llama, Gemma, Mistral, QWen, DeepSeek, LLaVA, v.v.), mô hình nhúng (e5-mistral, gte) và mô hình phần thưởng (Skywork), với khả năng mở rộng dễ dàng để tích hợp các mô hình mới
- SGLang là mã nguồn mở và được hỗ trợ bởi một cộng đồng tích cực với sự áp dụng của ngành
- Tài liệu có sẵn
Ngôn ngữ lập trình
Python
Danh Mục
Đây là ứng dụng cũng có thể được tải xuống từ https://sourceforge.net/projects/sglang.mirror/. Ứng dụng này được lưu trữ trên OnWorks để có thể chạy trực tuyến theo cách dễ dàng nhất từ một trong những Hệ điều hành miễn phí của chúng tôi.
