Это приложение Linux под названием LLM Gateway, последний релиз которого можно загрузить как v1.0.0sourcecode.tar.gz. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Бесплатно загрузите и запустите онлайн это приложение под названием LLM Gateway с OnWorks.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ
Ad
Шлюз LLM
ОПИСАНИЕ
LLM Gateway — это промежуточное программное обеспечение с открытым исходным кодом, которое объединяет взаимодействие с несколькими поставщиками LLM, такими как OpenAI, Anthropic, Google Vertex AI, за единым унифицированным API, совместимым со спецификацией OpenAI. Разработанный как для самостоятельного размещения, так и для использования в облаке, он позволяет разработчикам динамически маршрутизировать запросы, защищать и управлять ключами API, отслеживать использование и стоимость токенов, а также анализировать показатели производительности. Благодаря опциональному пользовательскому интерфейсу, телеметрии и развертыванию Docker он идеально подходит для команд, стремящихся централизовать оркестровку LLM и получить видимость использования ИИ.
Особенности
- Унифицированный API в стиле OpenAI для поддержки нескольких поставщиков
- Динамическая маршрутизация запросов к выбранным службам LLM
- Централизованное управление ключами API и хранение учетных данных
- Подробная аналитика по использованию, токенам, задержкам и расходам
- Сравнение производительности по моделям и поставщикам
- Простое развертывание через Docker (отдельная или составная настройка)
Язык программирования
TypeScript
Категории
Это приложение, которое также можно загрузить с https://sourceforge.net/projects/llm-gateway.mirror/. Оно размещено в OnWorks для того, чтобы его можно было запустить онлайн самым простым способом из одной из наших бесплатных операционных систем.
