Questa è l'app Linux denominata DeepSpeed la cui ultima versione può essere scaricata come v0.11.1_Patchrelease.zip. Può essere eseguito online nel provider di hosting gratuito OnWorks per workstation.
Scarica ed esegui online questa app chiamata DeepSpeed con OnWorks gratuitamente.
Segui queste istruzioni per eseguire questa app:
- 1. Scaricata questa applicazione sul tuo PC.
- 2. Entra nel nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 3. Carica questa applicazione in tale file manager.
- 4. Avviare l'emulatore online OnWorks Linux o Windows online o l'emulatore online MACOS da questo sito Web.
- 5. Dal sistema operativo OnWorks Linux che hai appena avviato, vai al nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 6. Scarica l'applicazione, installala ed eseguila.
IMMAGINI
Ad
deepspeed
DESCRIZIONE
DeepSpeed è una suite software di ottimizzazione del deep learning di facile utilizzo che consente una scalabilità e una velocità senza precedenti per l'addestramento e l'inferenza del deep learning. Con DeepSpeed puoi:
1. Addestramento/inferenza di modelli densi o sparsi con miliardi o trilioni di parametri
2. Ottieni un throughput di sistema eccellente e scala in modo efficiente a migliaia di GPU
3. Addestramento/inferenza su sistemi GPU con risorse limitate
4. Raggiungere una bassa latenza senza precedenti e un throughput elevato per l'inferenza
5. Ottieni una compressione estrema per una latenza di inferenza senza precedenti e una riduzione delle dimensioni del modello a costi contenuti
DeepSpeed offre una confluenza di innovazioni di sistema, che ha reso la formazione DL su larga scala efficace ed efficiente, ha notevolmente migliorato la facilità d'uso e ha ridefinito il panorama della formazione DL in termini di scala possibile. Queste innovazioni come ZeRO, 3D-Parallelism, DeepSpeed-MoE, ZeRO-Infinity, ecc. rientrano nel pilastro della formazione.
Caratteristiche
- DeepSpeed riunisce le innovazioni nella tecnologia del parallelismo come tensor, pipeline, expert e Zero-parallelism e le combina con kernel di inferenza personalizzati ad alte prestazioni, ottimizzazioni della comunicazione e tecnologie di memoria eterogenee per consentire l'inferenza su una scala senza precedenti, ottenendo allo stesso tempo latenza, throughput e riduzione dei costi. Questa composizione sistematica delle tecnologie di sistema per l'inferenza rientra nel pilastro dell'inferenza
- Per aumentare ulteriormente l'efficienza dell'inferenza, DeepSpeed offre tecniche di compressione facili da usare e flessibili da comporre per consentire a ricercatori e professionisti di comprimere i loro modelli offrendo velocità più elevate, dimensioni del modello più piccole e costi di compressione significativamente ridotti. Inoltre, le innovazioni SoTA sulla compressione come ZeroQuant e XTC sono incluse nel pilastro della compressione.
- La libreria DeepSpeed (questo repository) implementa e impacchetta le innovazioni e le tecnologie in DeepSpeed Training, Inference e Compression Pillars in un unico repository open source di facile utilizzo. Consente una facile composizione di una moltitudine di funzionalità all'interno di una singola pipeline di addestramento, inferenza o compressione. La libreria DeepSpeed è ampiamente adottata dalla comunità DL ed è stata utilizzata per abilitare alcuni dei modelli più potenti
Linguaggio di programmazione
Python
Categorie
Questa è un'applicazione che può anche essere recuperata da https://sourceforge.net/projects/deepspeed.mirror/. È stato ospitato in OnWorks per poter essere eseguito online nel modo più semplice da uno dei nostri Sistemi Operativi gratuiti.
