Это приложение Linux под названием OpenLIT, последний релиз которого можно загрузить как py-1.35.9sourcecode.tar.gz. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите онлайн это приложение под названием OpenLIT с OnWorks бесплатно.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ
Ad
OpenLIT
ОПИСАНИЕ
OpenLIT — это собственный инструмент OpenTelemetry, разработанный для того, чтобы помочь разработчикам получить представление о производительности их приложений LLM в производстве. Он автоматически собирает входные и выходные метаданные LLM и отслеживает производительность GPU для размещенных самостоятельно LLM. OpenLIT упрощает интеграцию наблюдаемости в проекты GenAI с помощью всего одной строки кода. Независимо от того, работаете ли вы с популярными поставщиками LLM, такими как OpenAI и HuggingFace, или используете векторные базы данных, такие как ChromaDB, OpenLIT обеспечивает бесперебойный мониторинг ваших приложений, предоставляя критически важные сведения, включая статистику производительности GPU для размещенных самостоятельно LLM, для повышения производительности и надежности. Этот проект с гордостью следует семантическим соглашениям сообщества OpenTelemetry, постоянно обновляясь для соответствия последним стандартам наблюдаемости.
Особенности
- Расширенный мониторинг производительности LLM и VectorDB
- Отслеживание затрат для индивидуальных и доработанных моделей
- Отслеживание затрат для индивидуальных и доработанных моделей
- Доступная документация
- Собственные и нейтральные для поставщика SDK OpenTelemetry
- Доступны примеры
- OpenLIT позволяет вам настраивать отслеживание затрат для конкретных моделей.
- OpenLIT создан с собственной поддержкой OpenTelemetry
Язык программирования
Питон
Категории
Это приложение, которое также можно загрузить с https://sourceforge.net/projects/openlit.mirror/. Оно размещено в OnWorks для того, чтобы его можно было запустить онлайн самым простым способом из одной из наших бесплатных операционных систем.
