این یک برنامه لینوکس به نام FairScale است که آخرین نسخه آن را می‌توانید با نام v0.4.13sourcecode.tar.gz دانلود کنید. این برنامه را می‌توان به صورت آنلاین در ارائه دهنده خدمات میزبانی رایگان OnWorks برای ایستگاه‌های کاری اجرا کرد.
این برنامه با نام FairScale with OnWorks را به صورت رایگان دانلود و اجرا کنید.
برای اجرای این برنامه این دستورالعمل ها را دنبال کنید:
- 1. این برنامه را در رایانه شخصی خود دانلود کنید.
- 2. در فایل منیجر ما https://www.onworks.net/myfiles.php?username=XXXXX نام کاربری مورد نظر خود را وارد کنید.
- 3. این برنامه را در چنین فایل منیجر آپلود کنید.
- 4. OnWorks Linux آنلاین یا شبیه ساز آنلاین ویندوز یا شبیه ساز آنلاین MACOS را از این وب سایت راه اندازی کنید.
- 5. از سیستم عامل لینوکس OnWorks که به تازگی راه اندازی کرده اید، به مدیر فایل ما https://www.onworks.net/myfiles.php?username=XXXXX با نام کاربری که می خواهید بروید.
- 6. اپلیکیشن را دانلود کرده، نصب و اجرا کنید.
اسکرین شات ها:
مقیاس عادلانه
DESCRIPTION:
FairScale مجموعه‌ای از اصول اولیه عملکرد و مقیاس‌بندی PyTorch است که پیشگام بسیاری از ایده‌هایی است که اکنون برای آموزش مدل‌های بزرگ استفاده می‌شود. این کتابخانه تکنیک‌های سبک Fully Sharded Data Parallel (FSDP) را معرفی کرد که پارامترها، گرادیان‌ها و حالت‌های بهینه‌ساز مدل را در رتبه‌ها تقسیم‌بندی می‌کند تا مدل‌های بزرگتر را در همان بودجه حافظه قرار دهد. این کتابخانه همچنین موازی‌سازی خط لوله، بررسی فعال‌سازی، دقت ترکیبی، تقسیم‌بندی حالت بهینه‌ساز (OSS) و سیاست‌های بسته‌بندی خودکار را ارائه می‌دهد که باعث کاهش تکرار در تنظیمات توزیع‌شده پیچیده می‌شود. اجزای آن ماژولار هستند، بنابراین تیم‌ها می‌توانند فقط بهینه‌ساز تقسیم‌بندی یا موتور خط لوله را بدون بازنویسی حلقه آموزشی خود اتخاذ کنند. FairScale بر صحت و اشکال‌زدایی تأکید دارد و نقاط قلاب، ثبت وقایع و نمونه‌های مرجع را برای الگوهای رایج مربی ارائه می‌دهد. اگرچه از آن زمان ایده‌های زیادی در هسته PyTorch قرار گرفته‌اند، FairScale همچنان یک مرجع ارزشمند و یک جعبه ابزار عملی برای بهره‌برداری بیشتر از عملکرد کارهای چند پردازنده گرافیکی و چند گره‌ای است.
امکانات
- پارامتر، گرادیان و شاردینگ بهینه‌ساز به سبک موازی داده‌های کاملاً خرد شده
- ابزارهای موازی‌سازی خط لوله با کنترل زمان‌بندی
- فعال‌سازی نقطه بازرسی برای مبادله محاسبات با حافظه
- بهینه‌سازهای Drop-in برای Optimizer State Sharding (OSS)
- سیاست‌های ترکیبی دقت و بسته‌بندی خودکار برای پذیرش آسان
- مثال‌ها و قلاب‌هایی برای آموزش توزیع‌شده در سطح تولید
زبان برنامه نویسی
پــایتــون
دسته بندی ها
این برنامه‌ای است که می‌توان آن را از https://sourceforge.net/projects/fairscale.mirror/ نیز دریافت کرد. این برنامه در OnWorks میزبانی شده است تا بتوان آن را به ساده‌ترین روش از یکی از سیستم‌های عامل رایگان ما به صورت آنلاین اجرا کرد.