Il s'agit de l'application Linux LangDB, dont la dernière version est téléchargeable sous le nom Release0.3.0sourcecode.tar.gz. Elle peut être exécutée en ligne sur l'hébergeur gratuit OnWorks pour postes de travail.
Téléchargez et exécutez en ligne cette application nommée LangDB avec OnWorks gratuitement.
Suivez ces instructions pour exécuter cette application :
- 1. Téléchargé cette application sur votre PC.
- 2. Entrez dans notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous voulez.
- 3. Téléchargez cette application dans ce gestionnaire de fichiers.
- 4. Démarrez l'émulateur en ligne OnWorks Linux ou Windows en ligne ou l'émulateur en ligne MACOS à partir de ce site Web.
- 5. Depuis le système d'exploitation OnWorks Linux que vous venez de démarrer, accédez à notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous souhaitez.
- 6. Téléchargez l'application, installez-la et exécutez-la.
CAPTURES D'ÉCRAN
Ad
LangDB
DESCRIPTION
AI Gateway est une passerelle API open source hautes performances, optimisée pour la gestion et la surveillance du trafic LLM à grande échelle. Développée par l'équipe LangDB, AI Gateway sert d'intermédiaire entre les clients et les LLM back-end, offrant des fonctionnalités avancées telles que la mise en cache, la limitation du débit, la gestion des invites et l'observabilité. Elle aide les équipes à sécuriser et optimiser leurs déploiements LLM, qu'ils utilisent des modèles locaux ou des API externes comme OpenAI ou Anthropic. Grâce à sa prise en charge native des environnements multi-locataires et à son routage d'inférence à faible latence, AI Gateway est un outil essentiel pour les entreprises qui développent des services d'IA générative de niveau production.
Caractéristiques
- Passerelle API adaptée au trafic LLM et IA générative
- Prend en charge la mise en cache et la déduplication rapide
- Limitation de débit et contrôle d'accès pour une utilisation multi-locataire
- Fonctionne avec OpenAI, Anthropic et les modèles locaux
- Routage et équilibrage de charge tenant compte de la latence
- Métriques intégrées, journalisation et suivi des demandes
- Modèles d'invite configurables et comptage de jetons
- Dockerisé et déployable dans les environnements Kubernetes
Langage de programmation
Se reposer
Catégories
Cette application peut également être téléchargée depuis https://sourceforge.net/projects/langdb.mirror/. Elle est hébergée sur OnWorks afin de pouvoir être exécutée en ligne plus facilement depuis l'un de nos systèmes d'exploitation gratuits.
