Це програма для Linux під назвою DeepSpeed, останню версію якої можна завантажити як v0.11.1_Patchrelease.zip. Його можна запустити онлайн у безкоштовного хостинг-провайдера OnWorks для робочих станцій.
Завантажте та безкоштовно запустіть цю програму під назвою DeepSpeed with OnWorks.
Дотримуйтесь цих інструкцій, щоб запустити цю програму:
- 1. Завантажив цю програму на свій ПК.
- 2. Введіть у наш файловий менеджер https://www.onworks.net/myfiles.php?username=XXXXX із потрібним ім'ям користувача.
- 3. Завантажте цю програму в такий файловий менеджер.
- 4. Запустіть онлайн-емулятор OnWorks Linux або Windows або онлайн-емулятор MACOS з цього веб-сайту.
- 5. З ОС OnWorks Linux, яку ви щойно запустили, перейдіть до нашого файлового менеджера https://www.onworks.net/myfiles.php?username=XXXXX з потрібним іменем користувача.
- 6. Завантажте програму, встановіть її та запустіть.
ЕКРАНИ
Ad
DeepSpeed
ОПИС
DeepSpeed — це простий у користуванні пакет програмного забезпечення для оптимізації глибокого навчання, який забезпечує безпрецедентний масштаб і швидкість для навчання глибокого навчання та висновків. З DeepSpeed ви можете:
1. Навчання/виведення щільних або розріджених моделей з мільярдами або трильйонами параметрів
2. Досягніть відмінної пропускної здатності системи та ефективного масштабування до тисяч GPU
3. Навчання/висновок щодо систем GPU з обмеженими ресурсами
4. Досягніть безпрецедентно низької затримки та високої пропускної здатності для висновків
5. Досягніть екстремального стиснення для неперевершеної затримки висновку та зменшення розміру моделі з низькими витратами
DeepSpeed пропонує поєднання системних інновацій, які зробили широкомасштабне навчання DL ефективним і ефективним, значно покращили простоту використання та переосмислили ландшафт навчання DL з точки зору можливого масштабу. Такі інновації, як ZeRO, 3D-Paralleism, DeepSpeed-MoE, ZeRO-Infinity тощо, підпадають під навчальний стовп.
риси
- DeepSpeed об’єднує інновації в технології паралелізму, такі як тензорний, конвеєрний, експертний і ZeRO-паралелізм, і поєднує їх із високопродуктивними користувальницькими ядрами виведення, оптимізацією зв’язку та технологіями гетерогенної пам’яті, щоб забезпечити безпрецедентний висновок у безпрецедентному масштабі, досягаючи незрівнянної затримки, пропускної здатності та зниження собівартості. Ця систематична композиція системних технологій для логічного висновку підпадає під основу логічного висновку
- Щоб ще більше підвищити ефективність логічного висновку, DeepSpeed пропонує прості у використанні та гнучкі у створенні методи стиснення для дослідників і практиків, щоб стискати свої моделі, забезпечуючи при цьому високу швидкість, менший розмір моделі та значно знижені витрати на стиснення. Більше того, інновації SoTA щодо стиснення, такі як ZeroQuant і XTC, включені в основу стиснення.
- Бібліотека DeepSpeed (цей репозиторій) реалізує та об’єднує інновації та технології DeepSpeed Training, Inference та Compression Pillars в одне просте у використанні сховище з відкритим кодом. Це дозволяє легко комбінувати безліч функцій в одному конвеєрі навчання, висновку або стиснення. Бібліотека DeepSpeed широко засвоєна спільнотою DL і використовувалася для запуску деяких із найпотужніших моделей
Мова програмування
Python
Категорії
Це програма, яку також можна завантажити з https://sourceforge.net/projects/deepspeed.mirror/. Його розміщено в OnWorks, щоб його можна було найпростіше запускати онлайн з однієї з наших безкоштовних операційних систем.
