Esta es la aplicación para Linux llamada Text Generation Inference, cuya última versión se puede descargar como v3.3.6sourcecode.tar.gz. Se puede ejecutar en línea en el proveedor de alojamiento gratuito OnWorks para estaciones de trabajo.
Descargue y ejecute en línea esta aplicación llamada Text Generation Inference con OnWorks de forma gratuita.
Siga estas instrucciones para ejecutar esta aplicación:
- 1. Descargue esta aplicación en su PC.
- 2. Ingrese en nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 3. Cargue esta aplicación en dicho administrador de archivos.
- 4. Inicie el emulador en línea OnWorks Linux o Windows en línea o el emulador en línea MACOS desde este sitio web.
- 5. Desde el SO OnWorks Linux que acaba de iniciar, vaya a nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 6. Descarga la aplicación, instálala y ejecútala.
SCREENSHOTS
Ad
Inferencia de generación de texto
DESCRIPCIÓN
Text Generation Inference es un servidor de inferencia de alto rendimiento para modelos de generación de texto, optimizado para los Transformers de Hugging Face. Está diseñado para gestionar modelos de lenguaje grandes de forma eficiente, con optimizaciones de rendimiento y escalabilidad.
Caracteristicas
- Optimizado para servir modelos de lenguaje grandes (LLM)
- Admite procesamiento por lotes y paralelismo para un alto rendimiento
- Soporte de cuantificación para un rendimiento mejorado
- Implementación basada en API para una fácil integración
- Aceleración de GPU y escalamiento de múltiples nodos
- Transmisión de tokens integrada para respuestas en tiempo real
Lenguaje de programación
Python
Categorías
Esta aplicación también se puede obtener de https://sourceforge.net/projects/text-generation-infer.mirror/. Está alojada en OnWorks para facilitar su ejecución en línea desde uno de nuestros sistemas operativos gratuitos.
