Đây là ứng dụng Linux có tên MobileLLM, phiên bản mới nhất có thể tải xuống dưới dạng MobileLLMsourcecode.tar.gz. Ứng dụng có thể chạy trực tuyến trên nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks dành cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng có tên MobileLLM với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH:
Di độngLLM
SỰ MIÊU TẢ:
MobileLLM là một nền tảng mô hình ngôn ngữ lớn (LLM) nhẹ do Facebook Research phát triển, được tối ưu hóa cho việc triển khai trên thiết bị, nơi hiệu suất tính toán và bộ nhớ là yếu tố then chốt. Được giới thiệu trong bài báo ICML 2024 “MobileLLM: Tối ưu hóa các mô hình ngôn ngữ tham số dưới một tỷ cho các trường hợp sử dụng trên thiết bị”, nền tảng này tập trung vào việc cung cấp khả năng suy luận và khái quát hóa mạnh mẽ trong các mô hình dưới một tỷ tham số. Nền tảng này tích hợp một số cải tiến về kiến trúc—kích hoạt SwiGLU, thiết kế mạng sâu và mỏng, chia sẻ nhúng và chú ý truy vấn nhóm (GQA)—để đạt được sự cân bằng vượt trội giữa kích thước mô hình, tốc độ suy luận và độ chính xác. MobileLLM thể hiện hiệu suất đáng chú ý, với các biến thể 125M và 350M vượt trội hơn các mô hình tiên tiến trước đây có cùng quy mô tới 4.3% trong các tác vụ suy luận thông thường không cần xử lý.
Tính năng
- Kiến trúc máy biến áp được tối ưu hóa cho LLM tham số dưới một tỷ
- Kết hợp kích hoạt SwiGLU, chia sẻ nhúng và chú ý truy vấn nhóm
- Hỗ trợ đào tạo trước đa nút phân tán với PyTorch ≥ 2.0
- Cung cấp kết quả suy luận zero-shot tiên tiến nhất trên nhiều tác vụ
- Bao gồm các đường ống đào tạo và đánh giá có thể tái tạo cho nhiều kích cỡ mô hình
- Triết lý thiết kế có khả năng mở rộng từ 125 triệu đến 1.5 tỷ tham số
Ngôn ngữ lập trình
Python, Vỏ Unix
Danh Mục
Đây là một ứng dụng cũng có thể được tải xuống từ https://sourceforge.net/projects/mobilellm.mirror/. Ứng dụng này được lưu trữ trên OnWorks để có thể chạy trực tuyến dễ dàng nhất từ một trong những Hệ điều hành miễn phí của chúng tôi.