Tải xuống Pruna AI cho Linux

Đây là ứng dụng Linux có tên Pruna AI, phiên bản mới nhất có thể tải xuống dưới dạng v0.2.5sourcecode.tar.gz. Có thể chạy trực tuyến trên nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks cho máy trạm.

MÀN HÌNH

Trí tuệ nhân tạo Pruna

MÔ TẢ

Pruna là một công cụ suy luận AI tự lưu trữ, mã nguồn mở được thiết kế để giúp các nhóm triển khai và quản lý các mô hình ngôn ngữ lớn (LLM) hiệu quả trên các cơ sở hạ tầng riêng tư hoặc kết hợp. Được xây dựng với hiệu suất và công thái học của nhà phát triển, Pruna đơn giản hóa quy trình làm việc suy luận bằng cách cho phép phối hợp nhiều mô hình, tự động mở rộng quy mô, phân bổ tài nguyên GPU và khả năng tương thích với các mô hình mã nguồn mở phổ biến. Công cụ này lý tưởng cho các công ty hoặc nhóm muốn giảm sự phụ thuộc vào các API bên ngoài trong khi vẫn duy trì tốc độ, hiệu quả về chi phí và toàn quyền kiểm soát dữ liệu và ngăn xếp AI của họ. Với trọng tâm là khả năng mở rộng và khả năng quan sát, Pruna trao quyền cho các kỹ sư mở rộng quy mô các ứng dụng LLM từ nguyên mẫu đến sản xuất một cách an toàn và đáng tin cậy.

Tính năng

• Công cụ tự lưu trữ để quản lý suy luận LLM
• Hỗ trợ phối hợp và định tuyến đa mô hình
• Tự động điều chỉnh động để tối ưu hóa tài nguyên
• Lên lịch và cân bằng tải dựa trên GPU
• Tương thích với các mô hình nguồn mở như LLaMA và Mistral
• API HTTP và gRPC để tích hợp dễ dàng
• Khả năng quan sát và theo dõi hiệu suất tích hợp
• Sẵn sàng triển khai với sự hỗ trợ của Docker và Kubernetes

Ngôn ngữ lập trình

Python

Danh Mục

Đây là ứng dụng cũng có thể được tải xuống từ https://sourceforge.net/projects/pruna-ai.mirror/. Ứng dụng này được lưu trữ trên OnWorks để có thể chạy trực tuyến theo cách dễ dàng nhất từ ​​một trong những Hệ điều hành miễn phí của chúng tôi.