这是名为 LiteLLM 的 Linux 应用程序,其最新版本可以作为 v0.11.1sourcecode.zip 下载。 它可以在免费的工作站托管提供商 OnWorks 中在线运行。
免费下载并使用 OnWorks 在线运行名为 LiteLLM 的应用程序。
请按照以下说明运行此应用程序:
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统,使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序,安装并运行。
SCREENSHOTS
Ad
莱特法学硕士
商品描述
使用 OpenAI 格式调用所有 LLM API [Anthropic、Huggingface、Cohere、Azure OpenAI 等] liteLLM 支持流式传输模型响应,传递 stream=True 以获取流式迭代器作为响应。 OpenAI、Azure、Anthropic 和 Huggingface 模型支持流式处理。
特征
- 将输入转换为提供者的完成和嵌入端点
- 保证一致的输出,文本响应始终可用
- 异常映射
- 跨提供商的常见异常映射到 OpenAI 异常类型
- LiteLLM 客户端 - 调试和一键添加新的 LLM
- liteLLM 支持将模型响应流式传输回来
程式语言
蟒蛇
分类目录
该应用程序也可以从 https://sourceforge.net/projects/litellm.mirror/ 获取。 它已托管在 OnWorks 中,以便从我们的免费操作系统之一以最简单的方式在线运行。