Esta es la aplicación de Linux llamada FastChat cuya última versión se puede descargar como Releasev0.2.30.zip. Se puede ejecutar en línea en el proveedor de alojamiento gratuito OnWorks para estaciones de trabajo.
Descargue y ejecute en línea esta aplicación llamada FastChat con OnWorks de forma gratuita.
Siga estas instrucciones para ejecutar esta aplicación:
- 1. Descargue esta aplicación en su PC.
- 2. Ingrese en nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 3. Cargue esta aplicación en dicho administrador de archivos.
- 4. Inicie el emulador en línea OnWorks Linux o Windows en línea o el emulador en línea MACOS desde este sitio web.
- 5. Desde el SO OnWorks Linux que acaba de iniciar, vaya a nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 6. Descarga la aplicación, instálala y ejecútala.
SCREENSHOTS
Ad
Chat rápido
DESCRIPCIÓN
FastChat es una plataforma abierta para entrenar, servir y evaluar chatbots basados en modelos de lenguaje grande. Si no tiene suficiente memoria, puede habilitar la compresión de 8 bits agregando --load-8bit a los comandos anteriores. Esto puede reducir el uso de la memoria a la mitad con una calidad del modelo ligeramente degradada. Es compatible con la CPU, la GPU y el backend de Metal. Vicuna-13B con compresión de 8 bits puede ejecutarse en una sola GPU NVIDIA 3090/4080/T4/V100 (16 GB). Además de eso, puede agregar --cpu-offloading a los comandos anteriores para descargar pesos que no caben en su GPU en la memoria de la CPU. Esto requiere que se habilite la compresión de 8 bits y que se instale el paquete bitsandbytes, que solo está disponible en los sistemas operativos Linux.
Caracteristicas
- Los pesos, el código de entrenamiento y el código de evaluación para modelos de última generación.
- Un sistema de servicio multimodelo distribuido con interfaz de usuario web y API RESTful compatibles con OpenAI
- Para entrenar, servir y evaluar modelos de lenguaje grandes
- Reducir el requisito de CPU RAM de conversión de peso
- Inferencia con interfaz de línea de comandos
- Varios modelos compatibles
Lenguaje de programación
Python
Categorías
Esta es una aplicación que también se puede obtener desde https://sourceforge.net/projects/fastchat.mirror/. Ha sido alojado en OnWorks para poder ejecutarse online de la forma más sencilla desde uno de nuestros Sistemas Operativos gratuitos.