Il s'agit de l'application Linux LiteLLM, dont la dernière version est téléchargeable sous le nom v1.77.0-nightlysourcecode.tar.gz. Elle peut être exécutée en ligne sur l'hébergeur gratuit OnWorks pour postes de travail.
Téléchargez et exécutez gratuitement en ligne cette application nommée LiteLLM avec OnWorks.
Suivez ces instructions pour exécuter cette application :
- 1. Téléchargé cette application sur votre PC.
- 2. Entrez dans notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous voulez.
- 3. Téléchargez cette application dans ce gestionnaire de fichiers.
- 4. Démarrez l'émulateur en ligne OnWorks Linux ou Windows en ligne ou l'émulateur en ligne MACOS à partir de ce site Web.
- 5. Depuis le système d'exploitation OnWorks Linux que vous venez de démarrer, accédez à notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous souhaitez.
- 6. Téléchargez l'application, installez-la et exécutez-la.
CAPTURES D'ÉCRAN
Ad
LiteLLM
DESCRIPTION
Appelez toutes les API LLM en utilisant le format OpenAI [Anthropic, Huggingface, Cohere, Azure OpenAI etc.] liteLLM prend en charge la diffusion en continu de la réponse du modèle, passez stream=True pour obtenir un itérateur de diffusion en continu en réponse. Le streaming est pris en charge pour les modèles OpenAI, Azure, Anthropic et Huggingface.
Caractéristiques
- Traduire les entrées jusqu'à l'achèvement du fournisseur et intégrer les points de terminaison
- Garantit une sortie cohérente, les réponses textuelles seront toujours disponibles
- Mappage des exceptions
- Les exceptions courantes entre les fournisseurs sont mappées aux types d'exceptions OpenAI
- Client LiteLLM - débogage et ajout de nouveaux LLM en 1 clic
- liteLLM prend en charge la diffusion en continu de la réponse du modèle
Langage de programmation
Python
Catégories
Il s'agit d'une application qui peut également être récupérée sur https://sourceforge.net/projects/litellm.mirror/. Il a été hébergé dans OnWorks afin de pouvoir être exécuté en ligne de la manière la plus simple possible à partir de l'un de nos systèmes d'exploitation gratuits.
