Đây là ứng dụng Linux có tên LiteLLM có bản phát hành mới nhất có thể được tải xuống dưới dạng v0.11.1sourcecode.zip. Nó có thể được chạy trực tuyến trong nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks dành cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng này có tên LiteLLM với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH
Ad
LiteLLM
MÔ TẢ
Gọi tất cả các API LLM bằng định dạng OpenAI [Anthropic, Huggingface, Cohere, Azure OpenAI, v.v.] liteLLM hỗ trợ truyền trực tuyến phản hồi mô hình trở lại, truyền stream=True để nhận phản hồi từ trình vòng lặp phát trực tuyến. Tính năng phát trực tuyến được hỗ trợ cho các mô hình OpenAI, Azure, Anthropic và Huggingface.
Tính năng
- Dịch các đầu vào để hoàn thành và nhúng các điểm cuối của nhà cung cấp
- Đảm bảo đầu ra nhất quán, phản hồi bằng văn bản sẽ luôn có sẵn
- Ánh xạ ngoại lệ
- Các ngoại lệ phổ biến giữa các nhà cung cấp được ánh xạ tới các loại ngoại lệ OpenAI
- Ứng dụng khách LiteLLM - gỡ lỗi và thêm LLM mới chỉ bằng 1 cú nhấp chuột
- liteLLM hỗ trợ truyền lại phản hồi của mô hình
Ngôn ngữ lập trình
Python
Categories
Đây là một ứng dụng cũng có thể được tải xuống từ https://sourceforge.net/projects/litellm.mirror/. Nó đã được lưu trữ trên OnWorks để có thể chạy trực tuyến một cách dễ dàng nhất từ một trong các Hệ điều hành miễn phí của chúng tôi.