To jest aplikacja Linux o nazwie OpenLIT, której najnowszą wersję można pobrać jako py-1.33.23sourcecode.tar.gz. Można ją uruchomić online w darmowym dostawcy hostingu OnWorks dla stacji roboczych.
Pobierz i uruchom bezpłatnie aplikację OpenLIT z OnWorks.
Postępuj zgodnie z tymi instrukcjami, aby uruchomić tę aplikację:
- 1. Pobrałem tę aplikację na swój komputer.
- 2. Wpisz w naszym menedżerze plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 3. Prześlij tę aplikację w takim menedżerze plików.
- 4. Uruchom emulator online OnWorks Linux lub Windows online lub emulator online MACOS z tej witryny.
- 5. W systemie operacyjnym OnWorks Linux, który właśnie uruchomiłeś, przejdź do naszego menedżera plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 6. Pobierz aplikację, zainstaluj ją i uruchom.
ZDJĘCIA EKRANU:
OtwartyLIT
OPIS:
OpenLIT to natywne narzędzie OpenTelemetry, zaprojektowane, aby pomóc programistom uzyskać wgląd w wydajność ich aplikacji LLM w produkcji. Automatycznie zbiera metadane wejściowe i wyjściowe LLM i monitoruje wydajność GPU dla samodzielnie hostowanych LLM. OpenLIT sprawia, że integracja obserwowalności z projektami GenAI jest bezproblemowa i wymaga tylko jednej linijki kodu. Niezależnie od tego, czy współpracujesz z popularnymi dostawcami LLM, takimi jak OpenAI i HuggingFace, czy wykorzystujesz bazy danych wektorowych, takie jak ChromaDB, OpenLIT zapewnia bezproblemowe monitorowanie aplikacji, dostarczając kluczowych informacji, w tym statystyk wydajności GPU dla samodzielnie hostowanych LLM w celu poprawy wydajności i niezawodności. Ten projekt z dumą podąża za Semantic Conventions społeczności OpenTelemetry, stale aktualizując się, aby dostosować się do najnowszych standardów obserwowalności.
Zakładka Charakterystyka
- Zaawansowane monitorowanie wydajności LLM i VectorDB
- Śledzenie kosztów dla modeli niestandardowych i dostrojonych
- Śledzenie kosztów dla modeli niestandardowych i dostrojonych
- Dostępna dokumentacja
- Natywne i niezależne od dostawcy zestawy SDK OpenTelemetry
- Dostępne przykłady
- OpenLIT umożliwia dostosowanie śledzenia kosztów do konkretnych modeli
- OpenLIT został zbudowany z natywnym wsparciem dla OpenTelemetry
Język programowania
Python
Kategorie
Jest to aplikacja, którą można również pobrać z https://sourceforge.net/projects/openlit.mirror/. Została umieszczona w OnWorks, aby można ją było uruchomić online w najłatwiejszy sposób z jednego z naszych darmowych systemów operacyjnych.