This is the Linux app named Lemonade whose latest release can be downloaded as v8.1.12sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Tải xuống và chạy trực tuyến ứng dụng có tên Lemonade với OnWorks này miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH
Ad
Nước chanh
MÔ TẢ
Lemonade là một môi trường chạy LLM cục bộ, hướng đến mục tiêu mang lại hiệu suất cao nhất có thể trên phần cứng của riêng bạn bằng cách tự động cấu hình các công cụ suy luận tiên tiến cho cả NPU và GPU. Dự án tự định vị mình là một "máy chủ LLM cục bộ" mà bạn có thể chạy trên máy tính xách tay và máy trạm, loại bỏ những khác biệt về phần mềm nền tảng trong khi vẫn cung cấp cho bạn một nơi duy nhất để phục vụ và quản lý các mô hình. Tệp README của dự án nhấn mạnh việc áp dụng trong thế giới thực trên các công ty khởi nghiệp, nhóm nghiên cứu và các công ty lớn, cho thấy sự tập trung vào việc triển khai thực tế hơn là các bản demo đồ chơi. Kho lưu trữ làm nổi bật việc tích hợp dễ dàng với các bản tải xuống, tài liệu và Discord để được hỗ trợ, cho thấy một cộng đồng người dùng năng động. Việc nhắn tin tập trung vào việc tối đa hóa thông lượng/độ trễ từ các trình tăng tốc hiện đại mà không cần người dùng phải tự tay tinh chỉnh kernel hoặc cờ. Các bản phát hành tiếp tục củng cố định dạng "máy chủ", hướng các nhà phát triển đến một dịch vụ có thể được tích hợp vào các ứng dụng và công cụ.
Tính năng
- Máy chủ LLM cục bộ nhắm mục tiêu tăng tốc GPU và NPU
- Tự động cấu hình các backend suy luận hiệu suất cao
- Quy trình cài đặt và chạy đơn giản với tài liệu hướng dẫn
- Hỗ trợ cộng đồng thông qua Discord và theo dõi sự cố tích cực
- Hoạt động trên các trường hợp sử dụng nghiên cứu, khởi nghiệp và doanh nghiệp
- Được thiết kế để trở thành nền tảng bổ sung cho các ứng dụng AI địa phương
Ngôn ngữ lập trình
Python
Danh Mục
Đây là một ứng dụng cũng có thể được tải xuống từ https://sourceforge.net/projects/lemonade.mirror/. Ứng dụng này được lưu trữ trên OnWorks để có thể chạy trực tuyến dễ dàng nhất từ một trong những Hệ điều hành miễn phí của chúng tôi.
