Il s'agit de l'application Windows nommée Tokenizers dont la dernière version peut être téléchargée sous le nom de v0.14.1.zip. Il peut être exécuté en ligne chez le fournisseur d'hébergement gratuit OnWorks pour les postes de travail.
Téléchargez et exécutez gratuitement en ligne cette application nommée Tokenizers avec OnWorks.
Suivez ces instructions pour exécuter cette application :
- 1. Téléchargé cette application sur votre PC.
- 2. Entrez dans notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous voulez.
- 3. Téléchargez cette application dans ce gestionnaire de fichiers.
- 4. Démarrez n'importe quel émulateur en ligne OS OnWorks à partir de ce site Web, mais un meilleur émulateur en ligne Windows.
- 5. Depuis le système d'exploitation OnWorks Windows que vous venez de démarrer, accédez à notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous souhaitez.
- 6. Téléchargez l'application et installez-la.
- 7. Téléchargez Wine depuis les dépôts de logiciels de vos distributions Linux. Une fois installé, vous pouvez ensuite double-cliquer sur l'application pour les exécuter avec Wine. Vous pouvez également essayer PlayOnLinux, une interface sophistiquée sur Wine qui vous aidera à installer des programmes et des jeux Windows populaires.
Wine est un moyen d'exécuter un logiciel Windows sur Linux, mais sans Windows requis. Wine est une couche de compatibilité Windows open source qui peut exécuter des programmes Windows directement sur n'importe quel bureau Linux. Essentiellement, Wine essaie de ré-implémenter suffisamment de Windows à partir de zéro pour qu'il puisse exécuter toutes ces applications Windows sans avoir réellement besoin de Windows.
CAPTURES D'ÉCRAN
Ad
Tokeniseurs
DESCRIPTION
Tokenizers rapides à la pointe de la technologie, optimisés pour la recherche et la production. Tokenizers fournit une implémentation des tokenizers les plus utilisés aujourd'hui, en mettant l'accent sur les performances et la polyvalence. Ces tokenizers sont également utilisés dans Transformers. Entraînez de nouveaux vocabulaires et tokenize, en utilisant les tokenizers les plus utilisés d'aujourd'hui. Extrêmement rapide (à la fois formation et tokenisation), grâce à l'implémentation de Rust. Prend moins de 20 secondes pour tokeniser un Go de texte sur le processeur d'un serveur. Facile à utiliser, mais aussi extrêmement polyvalent. Conçu pour la recherche et la production. Suivi d'alignement complet. Même avec une normalisation destructive, il est toujours possible d'obtenir la partie de la phrase originale qui correspond à n'importe quel jeton. Effectue tout le prétraitement : troncature, rembourrage, ajoute les jetons spéciaux dont votre modèle a besoin.
Fonctionnalités:
- Entraînez de nouveaux vocabulaires et tokenize, en utilisant les tokenizers les plus utilisés d'aujourd'hui
- Extrêmement rapide (à la fois formation et tokenisation), grâce à l'implémentation de Rust. Prend moins de 20 secondes pour tokeniser un Go de texte sur le processeur d'un serveur
- Facile à utiliser, mais aussi extrêmement polyvalent
- Conçu pour la recherche et la production
- Suivi d'alignement complet
- Troncature, Rembourrage, ajoutez les jetons spéciaux dont votre modèle a besoin
Langage de programmation
Calme
Catégories
Il s'agit d'une application qui peut également être récupérée à partir de https://sourceforge.net/projects/tokenizers.mirror/. Il a été hébergé dans OnWorks afin d'être exécuté en ligne de la manière la plus simple à partir de l'un de nos systèmes d'exploitation gratuits.
