Это приложение для Linux под названием LiteLLM, последнюю версию которого можно загрузить как v0.11.1sourcecode.zip. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите онлайн это приложение под названием LiteLLM с помощью OnWorks бесплатно.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ
Ad
ЛайтLLM
ОПИСАНИЕ
Вызовите все API-интерфейсы LLM, используя формат OpenAI [Anthropic, Huggingface, Cohere, Azure OpenAI и т. д.]. liteLLM поддерживает потоковую передачу ответа модели, передайтеstream=True, чтобы получить в ответ потоковый итератор. Потоковая передача поддерживается для моделей OpenAI, Azure, Anthropic и Huggingface.
Особенности
- Преобразование входных данных для завершения поставщика и встраивание конечных точек
- Гарантирует последовательный вывод, текстовые ответы всегда будут доступны.
- Сопоставление исключений
- Общие исключения для разных поставщиков сопоставлены с типами исключений OpenAI.
- Клиент LiteLLM — отладка и добавление новых LLM в один клик
- liteLLM поддерживает потоковую передачу ответа модели.
Язык программирования
Питон
Категории
Это приложение также можно загрузить с https://sourceforge.net/projects/litellm.mirror/. Он размещен в OnWorks, чтобы его можно было проще запускать в Интернете из одной из наших бесплатных операционных систем.
