Đây là ứng dụng Linux có tên OpenLIT, phiên bản mới nhất có thể tải xuống dưới dạng py-1.35.3sourcecode.tar.gz. Có thể chạy trực tuyến trên nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng có tên OpenLIT với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH
Ad
MởLIT
MÔ TẢ
OpenLIT là một công cụ gốc OpenTelemetry được thiết kế để giúp các nhà phát triển hiểu rõ hơn về hiệu suất của các ứng dụng LLM của họ trong quá trình sản xuất. Công cụ này tự động thu thập siêu dữ liệu đầu vào và đầu ra của LLM và theo dõi hiệu suất GPU cho các LLM tự lưu trữ. OpenLIT giúp tích hợp khả năng quan sát vào các dự án GenAI dễ dàng chỉ bằng một dòng mã. Cho dù bạn đang làm việc với các nhà cung cấp LLM phổ biến như OpenAI và HuggingFace hay tận dụng các cơ sở dữ liệu vectơ như ChromaDB, OpenLIT đảm bảo các ứng dụng của bạn được theo dõi liền mạch, cung cấp thông tin chi tiết quan trọng bao gồm số liệu thống kê hiệu suất GPU cho các LLM tự lưu trữ để cải thiện hiệu suất và độ tin cậy. Dự án này tự hào tuân theo các Công ước ngữ nghĩa của cộng đồng OpenTelemetry, liên tục cập nhật để phù hợp với các tiêu chuẩn mới nhất về khả năng quan sát.
Tính năng
- Giám sát nâng cao hiệu suất của LLM và VectorDB
- Theo dõi chi phí cho các mô hình tùy chỉnh và tinh chỉnh
- Theo dõi chi phí cho các mô hình tùy chỉnh và tinh chỉnh
- Tài liệu có sẵn
- SDK gốc OpenTelemetry và SDK trung lập với nhà cung cấp
- Ví dụ có sẵn
- OpenLIT cho phép bạn tùy chỉnh theo dõi chi phí cho các mô hình cụ thể
- OpenLIT được xây dựng với sự hỗ trợ gốc cho OpenTelemetry
Ngôn ngữ lập trình
Python
Danh Mục
Đây là ứng dụng cũng có thể được tải xuống từ https://sourceforge.net/projects/openlit.mirror/. Ứng dụng này được lưu trữ trên OnWorks để có thể chạy trực tuyến theo cách dễ dàng nhất từ một trong những Hệ điều hành miễn phí của chúng tôi.
