Đây là ứng dụng Linux có tên LLM Gateway có phiên bản mới nhất có thể tải xuống dưới dạng v1.1.0sourcecode.tar.gz. Có thể chạy trực tuyến trên nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng có tên LLM Gateway với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH
Ad
Cổng thông tin LLM
MÔ TẢ
LLM Gateway là một phần mềm trung gian nguồn mở hợp nhất các tương tác với nhiều nhà cung cấp LLM—chẳng hạn như OpenAI, Anthropic, Google Vertex AI—sau một API thống nhất duy nhất tương thích với thông số kỹ thuật của OpenAI. Được thiết kế cho cả mục đích tự lưu trữ và sử dụng trên đám mây, nó cho phép các nhà phát triển định tuyến các yêu cầu một cách năng động, bảo mật và quản lý các khóa API, theo dõi việc sử dụng và chi phí mã thông báo và phân tích số liệu hiệu suất. Với giao diện người dùng tùy chọn, phép đo từ xa và triển khai Docker, nó lý tưởng cho các nhóm muốn tập trung hóa việc điều phối LLM và có được khả năng hiển thị về việc sử dụng AI.
Tính năng
- API theo phong cách OpenAI hợp nhất để hỗ trợ nhiều nhà cung cấp
- Định tuyến động các yêu cầu đến các dịch vụ LLM đã chọn
- Quản lý khóa API tập trung và lưu trữ thông tin xác thực
- Phân tích chi tiết về mức sử dụng, mã thông báo, độ trễ và chi phí
- So sánh hiệu suất giữa các mô hình và nhà cung cấp
- Triển khai dễ dàng thông qua Docker (thiết lập đơn hoặc hợp nhất)
Ngôn ngữ lập trình
TypeScript
Danh Mục
Đây là ứng dụng cũng có thể được tải xuống từ https://sourceforge.net/projects/llm-gateway.mirror/. Ứng dụng này được lưu trữ trên OnWorks để có thể chạy trực tuyến theo cách dễ dàng nhất từ một trong những Hệ điều hành miễn phí của chúng tôi.
