Il s'agit de l'application Windows Text Generation Inference, dont la dernière version est téléchargeable sous le nom v3.3.2sourcecode.zip. Elle peut être exécutée en ligne sur l'hébergeur gratuit OnWorks pour postes de travail.
Téléchargez et exécutez en ligne gratuitement cette application nommée Text Generation Inference avec OnWorks.
Suivez ces instructions pour exécuter cette application :
- 1. Téléchargé cette application sur votre PC.
- 2. Entrez dans notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous voulez.
- 3. Téléchargez cette application dans ce gestionnaire de fichiers.
- 4. Démarrez n'importe quel émulateur en ligne OS OnWorks à partir de ce site Web, mais un meilleur émulateur en ligne Windows.
- 5. Depuis le système d'exploitation OnWorks Windows que vous venez de démarrer, accédez à notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous souhaitez.
- 6. Téléchargez l'application et installez-la.
- 7. Téléchargez Wine depuis les dépôts de logiciels de vos distributions Linux. Une fois installé, vous pouvez ensuite double-cliquer sur l'application pour les exécuter avec Wine. Vous pouvez également essayer PlayOnLinux, une interface sophistiquée sur Wine qui vous aidera à installer des programmes et des jeux Windows populaires.
Wine est un moyen d'exécuter un logiciel Windows sur Linux, mais sans Windows requis. Wine est une couche de compatibilité Windows open source qui peut exécuter des programmes Windows directement sur n'importe quel bureau Linux. Essentiellement, Wine essaie de ré-implémenter suffisamment de Windows à partir de zéro pour qu'il puisse exécuter toutes ces applications Windows sans avoir réellement besoin de Windows.
CAPTURES D'ÉCRAN:
Inférence de génération de texte
DESCRIPTION:
Text Generation Inference est un serveur d'inférence hautes performances pour les modèles de génération de texte, optimisé pour les Transformers de Hugging Face. Conçu pour gérer efficacement les modèles de langage volumineux, il optimise les performances et l'évolutivité.
Features
- Optimisé pour servir de grands modèles linguistiques (LLM)
- Prend en charge le traitement par lots et le parallélisme pour un débit élevé
- Prise en charge de la quantification pour des performances améliorées
- Déploiement basé sur l'API pour une intégration facile
- Accélération GPU et mise à l'échelle multi-nœuds
- Diffusion de jetons intégrée pour des réponses en temps réel
Langage de programmation
Python
Catégories
Cette application peut également être téléchargée depuis https://sourceforge.net/projects/text-generation-infer.mirror/. Elle est hébergée sur OnWorks afin de pouvoir être exécutée en ligne plus facilement depuis l'un de nos systèmes d'exploitation gratuits.