这是名为 LangDB 的 Linux 应用，其最新版本可以下载为 Release0.3.0sourcecode.tar.gz。它可在免费的工作站托管服务提供商 OnWorks 上在线运行。
使用 OnWorks 免费下载并在线运行这个名为 LangDB 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
LangDB
商品描述
AI Gateway 是一款高性能开源 API 网关，专为大规模管理和监控 LLM 流量而优化。AI Gateway 由 LangDB 团队开发，充当客户端和后端 LLM 之间的中介，提供缓存、速率限制、提示管理和可观察性等高级功能。它可以帮助团队保护和优化其 LLM 部署，无论使用本地模型还是 OpenAI 或 Anthropic 等外部 API。凭借对多租户环境和低延迟推理路由的原生支持，AI Gateway 是构建生产级生成式 AI 服务的企业的必备工具。
功能
- 为 LLM 和生成式 AI 流量量身定制的 API 网关
- 支持缓存和快速去重
- 多租户使用的速率限制和访问控制
- 与 OpenAI、Anthropic 和本地模型兼容
- 延迟感知路由和负载平衡
- 内置指标、日志记录和请求跟踪
- 可配置的提示模板和令牌计数
- Docker化并可部署到Kubernetes环境
程式语言
锈
分类
此应用程序也可从 https://sourceforge.net/projects/langdb.mirror/ 获取。它已托管在 OnWorks 中，以便通过我们的免费操作系统以最便捷的方式在线运行。
