这是名为 OpenLIT 的 Linux 应用程序,其最新版本可以下载为 py-1.33.23sourcecode.tar.gz。它可以在免费的工作站托管服务提供商 OnWorks 上在线运行。
免费下载并使用 OnWorks 在线运行这个名为 OpenLIT 的应用程序。
请按照以下说明运行此应用程序:
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统,使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序,安装并运行。
SCREENSHOTS
Ad
开放LIT
商品描述
OpenLIT 是一款 OpenTelemetry 原生工具,旨在帮助开发者深入了解其 LLM 应用程序在生产环境中的性能。它自动收集 LLM 输入和输出元数据,并监控自托管 LLM 的 GPU 性能。OpenLIT 只需一行代码即可轻松将可观测性集成到 GenAI 项目中。无论您是与 OpenAI 和 HuggingFace 等热门 LLM 提供商合作,还是利用 ChromaDB 等矢量数据库,OpenLIT 都能确保您的应用程序得到无缝监控,并提供关键洞察,包括自托管 LLM 的 GPU 性能统计数据,从而提高性能和可靠性。该项目遵循 OpenTelemetry 社区的语义约定,并持续更新以符合最新的可观测性标准。
特性
- LLM 和 VectorDB 性能的高级监控
- 定制和微调模型的成本跟踪
- 定制和微调模型的成本跟踪
- 可用文档
- OpenTelemetry 原生且与供应商无关的 SDK
- 可用示例
- OpenLIT 使您能够针对特定模型定制成本跟踪
- OpenLIT 内置对 OpenTelemetry 的原生支持
程式语言
Python
分类
此应用程序也可从 https://sourceforge.net/projects/openlit.mirror/ 获取。它已托管在 OnWorks 中,以便通过我们的免费操作系统之一以最便捷的方式在线运行。