Esta es la aplicación de Linux llamada OpenLIT, cuya última versión se puede descargar como py-1.35.3sourcecode.tar.gz. Se puede ejecutar en línea en el proveedor de alojamiento gratuito OnWorks para estaciones de trabajo.
Descargue y ejecute en línea esta aplicación llamada OpenLIT con OnWorks de forma gratuita.
Siga estas instrucciones para ejecutar esta aplicación:
- 1. Descargue esta aplicación en su PC.
- 2. Ingrese en nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 3. Cargue esta aplicación en dicho administrador de archivos.
- 4. Inicie el emulador en línea OnWorks Linux o Windows en línea o el emulador en línea MACOS desde este sitio web.
- 5. Desde el SO OnWorks Linux que acaba de iniciar, vaya a nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 6. Descarga la aplicación, instálala y ejecútala.
SCREENSHOTS
Ad
OpenLIT
DESCRIPCIÓN
OpenLIT es una herramienta nativa de OpenTelemetry diseñada para ayudar a los desarrolladores a comprender el rendimiento de sus aplicaciones LLM en producción. Recopila automáticamente metadatos de entrada y salida de LLM y monitoriza el rendimiento de la GPU para LLM autoalojados. OpenLIT facilita la integración de la observabilidad en proyectos GenAI con una sola línea de código. Tanto si trabaja con proveedores de LLM populares como OpenAI y HuggingFace, como si utiliza bases de datos vectoriales como ChromaDB, OpenLIT garantiza la monitorización fluida de sus aplicaciones, proporcionando información crucial, como estadísticas de rendimiento de la GPU para LLM autoalojados, para mejorar el rendimiento y la fiabilidad. Este proyecto se enorgullece de seguir las convenciones semánticas de la comunidad OpenTelemetry y se actualiza constantemente para alinearse con los últimos estándares en observabilidad.
Caracteristicas
- Monitoreo avanzado del rendimiento de LLM y VectorDB
- Seguimiento de costos para modelos personalizados y optimizados
- Seguimiento de costos para modelos personalizados y optimizados
- Documentación disponible
- SDK nativos de OpenTelemetry y neutrales respecto al proveedor
- Ejemplos disponibles
- OpenLIT le permite adaptar el seguimiento de costos para modelos específicos
- OpenLIT está construido con soporte nativo para OpenTelemetry
Lenguaje de programación
Python
Categorías
Esta aplicación también se puede descargar desde https://sourceforge.net/projects/openlit.mirror/. Está alojada en OnWorks para facilitar su ejecución en línea desde uno de nuestros sistemas operativos gratuitos.
