Esta es la aplicación de Linux llamada Aviary cuya última versión se puede descargar como v0.3.1.zip. Se puede ejecutar en línea en el proveedor de alojamiento gratuito OnWorks para estaciones de trabajo.
Descargue y ejecute en línea esta aplicación llamada Aviary con OnWorks de forma gratuita.
Siga estas instrucciones para ejecutar esta aplicación:
- 1. Descargue esta aplicación en su PC.
- 2. Ingrese en nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 3. Cargue esta aplicación en dicho administrador de archivos.
- 4. Inicie el emulador en línea OnWorks Linux o Windows en línea o el emulador en línea MACOS desde este sitio web.
- 5. Desde el SO OnWorks Linux que acaba de iniciar, vaya a nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 6. Descarga la aplicación, instálala y ejecútala.
SCREENSHOTS
Ad
pajarera
DESCRIPCIÓN
Aviary es una solución de servicio de LLM que facilita la implementación y gestión de una variedad de LLM de código abierto. Proporciona un amplio conjunto de LLM de código abierto preconfigurados, con valores predeterminados que funcionan de inmediato. Compatible con modelos Transformer alojados en Hugging Face Hub o presentes en el disco local. Aviary tiene soporte nativo para implementaciones de múltiples nodos y escalado automático gracias a Ray y Ray Serve. Aviary puede escalar a cero y crear nuevas réplicas de modelos (cada una compuesta por múltiples trabajadores de GPU) en respuesta a la demanda. Ray garantiza que la orquestación y la gestión de recursos se manejen automáticamente. Aviary puede admitir cientos de réplicas y clústeres de cientos de nodos, implementados en la nube o localmente.
Caracteristicas
- Totalmente compatible con implementaciones de modelos de múltiples GPU y múltiples nodos
- Proporcionar una API REST similar a la de OpenAI para facilitar la migración y las pruebas cruzadas.
- Ofreciendo funciones de alto rendimiento como procesamiento por lotes continuo, cuantificación y transmisión
- Simplificar la incorporación de nuevos LLM en cuestión de minutos en la mayoría de los casos
- Simplificar la implementación de múltiples LLM dentro de un único marco unificado
- Proporcionar un amplio conjunto de LLM de código abierto preconfigurados, con valores predeterminados que funcionan de inmediato.
Lenguaje de programación
Python
Categorías
Esta es una aplicación que también se puede obtener desde https://sourceforge.net/projects/aviary.mirror/. Ha sido alojado en OnWorks para poder ejecutarlo online de la forma más sencilla desde uno de nuestros Sistemas Operativos gratuitos.
