Dies ist die Linux-App namens FairScale, deren neueste Version als v0.4.13sourcecode.tar.gz heruntergeladen werden kann. Sie kann online beim kostenlosen Hosting-Anbieter OnWorks für Workstations ausgeführt werden.
Laden Sie diese App namens FairScale mit OnWorks kostenlos herunter und führen Sie sie online aus.
Befolgen Sie diese Anweisungen, um diese App auszuführen:
- 1. Diese Anwendung auf Ihren PC heruntergeladen.
- 2. Geben Sie in unserem Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX den gewünschten Benutzernamen ein.
- 3. Laden Sie diese Anwendung in einem solchen Dateimanager hoch.
- 4. Starten Sie den OnWorks Linux-Online- oder Windows-Online-Emulator oder den MACOS-Online-Emulator von dieser Website.
- 5. Rufen Sie vom gerade gestarteten OnWorks Linux-Betriebssystem aus unseren Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX mit dem gewünschten Benutzernamen auf.
- 6. Laden Sie die Anwendung herunter, installieren Sie sie und führen Sie sie aus.
SCREENSHOTS:
FairScale
BESCHREIBUNG:
FairScale ist eine Sammlung von PyTorch-Performance- und Skalierungsprimitiven, die viele der Ideen hervorbrachten, die heute für das Training großer Modelle verwendet werden. Es führte Techniken im Stil von Fully Sharded Data Parallel (FSDP) ein, die Modellparameter, Gradienten und Optimiererzustände über Ränge hinweg sharden, um größere Modelle in das gleiche Speicherbudget zu packen. Die Bibliothek bietet außerdem Pipeline-Parallelität, Aktivierungs-Checkpointing, gemischte Präzision, Optimizer State Sharding (OSS) und Auto-Wrapping-Richtlinien, die den Boilerplate-Code in komplexen verteilten Setups reduzieren. Die Komponenten sind modular aufgebaut, sodass Teams nur den Sharding-Optimierer oder die Pipeline-Engine übernehmen können, ohne ihre Trainingsschleife neu schreiben zu müssen. FairScale legt Wert auf Korrektheit und Debugbarkeit und bietet Hook-Punkte, Protokollierung und Referenzbeispiele für gängige Trainermuster. Obwohl viele Ideen seitdem in den PyTorch-Kern eingeflossen sind, bleibt FairScale eine wertvolle Referenz und ein praktischer Werkzeugkasten, um mehr Leistung aus Jobs mit mehreren GPUs und mehreren Knoten herauszuholen.
Eigenschaften
- Vollständig geteilte Daten. Paralleles Stil-Parameter-, Grad- und Optimierer-Sharding
- Pipeline-Parallelitäts-Dienstprogramme mit Zeitplansteuerung
- Aktivierungs-Checkpointing zum Tausch von Rechenleistung gegen Speicher
- Optimizer State Sharding (OSS) Drop-In-Optimierer
- Gemischte Präzisions- und Auto-Wrap-Richtlinien für eine einfache Einführung
- Beispiele und Hooks für verteiltes Training in Produktionsqualität
Programmiersprache
Python
Kategorien
Diese Anwendung kann auch von https://sourceforge.net/projects/fairscale.mirror/ heruntergeladen werden. Sie wurde in OnWorks gehostet, um sie auf einfachste Weise online von einem unserer kostenlosen Betriebssysteme aus ausführen zu können.