Esta es la aplicación de Windows llamada Tokenizers cuya última versión se puede descargar como v0.14.1.zip. Se puede ejecutar en línea en el proveedor de alojamiento gratuito OnWorks para estaciones de trabajo.
Descargue y ejecute en línea esta aplicación llamada Tokenizers con OnWorks de forma gratuita.
Siga estas instrucciones para ejecutar esta aplicación:
- 1. Descargue esta aplicación en su PC.
- 2. Ingrese en nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 3. Cargue esta aplicación en dicho administrador de archivos.
- 4. Inicie cualquier emulador en línea de OS OnWorks desde este sitio web, pero mejor emulador en línea de Windows.
- 5. Desde el sistema operativo OnWorks Windows que acaba de iniciar, vaya a nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 6. Descarga la aplicación e instálala.
- 7. Descargue Wine desde los repositorios de software de sus distribuciones de Linux. Una vez instalada, puede hacer doble clic en la aplicación para ejecutarla con Wine. También puedes probar PlayOnLinux, una elegante interfaz sobre Wine que te ayudará a instalar programas y juegos populares de Windows.
Wine es una forma de ejecutar software de Windows en Linux, pero no requiere Windows. Wine es una capa de compatibilidad de Windows de código abierto que puede ejecutar programas de Windows directamente en cualquier escritorio de Linux. Esencialmente, Wine está tratando de volver a implementar una cantidad suficiente de Windows desde cero para poder ejecutar todas esas aplicaciones de Windows sin necesidad de Windows.
SCREENSHOTS
Ad
Tokenizadores
DESCRIPCIÓN
Tokenizadores rápidos de última generación, optimizados tanto para investigación como para producción. Tokenizers proporciona una implementación de los tokenizadores más utilizados en la actualidad, con un enfoque en el rendimiento y la versatilidad. Estos tokenizadores también se usan en Transformers. Entrena nuevos vocabularios y tokeniza, utilizando los tokenizadores más utilizados en la actualidad. Extremadamente rápido (tanto de entrenamiento como de tokenización), gracias a la implementación de Rust. Toma menos de 20 segundos tokenizar un GB de texto en la CPU de un servidor. Fácil de usar, pero también extremadamente versátil. Diseñado tanto para la investigación como para la producción. Seguimiento de alineación completa. Incluso con la normalización destructiva, siempre es posible obtener la parte de la oración original que corresponde a cualquier token. Hace todo el procesamiento previo: truncamiento, relleno, agrega los tokens especiales que necesita su modelo.
Caracteristicas
- Entrena nuevos vocabularios y tokeniza, utilizando los tokenizadores más utilizados en la actualidad.
- Extremadamente rápido (tanto de entrenamiento como de tokenización), gracias a la implementación de Rust. Toma menos de 20 segundos tokenizar un GB de texto en la CPU de un servidor
- Fácil de usar, pero también extremadamente versátil.
- Diseñado tanto para la investigación como para la producción.
- Seguimiento de alineación completa
- Truncamiento, relleno, agregue los tokens especiales que necesita su modelo
Lenguaje de programación
Herrumbre
Categorías
Esta es una aplicación que también se puede obtener desde https://sourceforge.net/projects/tokenizers.mirror/. Ha sido alojado en OnWorks para poder ejecutarse online de la forma más sencilla desde uno de nuestros Sistemas Operativos gratuitos.
