Este é o aplicativo Linux denominado LiteLLM, cuja versão mais recente pode ser baixada como v0.11.1sourcecode.zip. Ele pode ser executado online no provedor de hospedagem gratuito OnWorks para estações de trabalho.
Baixe e execute online este aplicativo chamado LiteLLM com OnWorks gratuitamente.
Siga estas instruções para executar este aplicativo:
- 1. Baixe este aplicativo em seu PC.
- 2. Entre em nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que você deseja.
- 3. Carregue este aplicativo em tal gerenciador de arquivos.
- 4. Inicie o emulador OnWorks Linux online ou Windows online ou emulador MACOS online a partir deste site.
- 5. No sistema operacional OnWorks Linux que você acabou de iniciar, acesse nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que deseja.
- 6. Baixe o aplicativo, instale-o e execute-o.
SCREENSHOTS
Ad
LiteLLM
DESCRIÇÃO
Chame todas as APIs LLM usando o formato OpenAI [Anthropic, Huggingface, Cohere, Azure OpenAI etc.] liteLLM suporta streaming da resposta do modelo de volta, passe stream=True para obter um iterador de streaming em resposta. O streaming é compatível com os modelos OpenAI, Azure, Anthropic e Huggingface.
Funcionalidades
- Traduzindo entradas para a conclusão do provedor e incorporando endpoints
- Garante resultados consistentes, as respostas em texto estarão sempre disponíveis
- Mapeamento de exceção
- Exceções comuns entre provedores são mapeadas para os tipos de exceção OpenAI
- Cliente LiteLLM - depuração e adição de novos LLMs com 1 clique
- liteLLM suporta streaming da resposta do modelo de volta
Linguagem de Programação
Python
Categorias
Este é um aplicativo que também pode ser obtido em https://sourceforge.net/projects/litellm.mirror/. Foi hospedado em OnWorks para poder ser executado online da maneira mais fácil a partir de um de nossos Sistemas Operativos gratuitos.
