این برنامه لینوکس به نام FastChat است که آخرین نسخه آن را می توان با نام Releasev0.2.30.zip دانلود کرد. می توان آن را به صورت آنلاین در ارائه دهنده میزبانی رایگان OnWorks برای ایستگاه های کاری اجرا کرد.
این برنامه با نام FastChat با OnWorks را بصورت آنلاین دانلود و اجرا کنید.
برای اجرای این برنامه این دستورالعمل ها را دنبال کنید:
- 1. این برنامه را در رایانه شخصی خود دانلود کنید.
- 2. در فایل منیجر ما https://www.onworks.net/myfiles.php?username=XXXXX نام کاربری مورد نظر خود را وارد کنید.
- 3. این برنامه را در چنین فایل منیجر آپلود کنید.
- 4. OnWorks Linux آنلاین یا شبیه ساز آنلاین ویندوز یا شبیه ساز آنلاین MACOS را از این وب سایت راه اندازی کنید.
- 5. از سیستم عامل لینوکس OnWorks که به تازگی راه اندازی کرده اید، به مدیر فایل ما https://www.onworks.net/myfiles.php?username=XXXXX با نام کاربری که می خواهید بروید.
- 6. اپلیکیشن را دانلود کرده، نصب و اجرا کنید.
عکس ها
Ad
فست چت
شرح
FastChat یک پلت فرم باز برای آموزش، ارائه و ارزیابی چت ربات های بزرگ مبتنی بر مدل زبان است. اگر حافظه کافی ندارید، می توانید فشرده سازی 8 بیتی را با افزودن --load-8bit به دستورات بالا فعال کنید. این می تواند با کاهش کمی کیفیت مدل، استفاده از حافظه را به نصف کاهش دهد. با CPU، GPU و Metal Backend سازگار است. Vicuna-13B با فشرده‌سازی 8 بیتی می‌تواند روی یک پردازنده گرافیکی NVIDIA 3090/4080/T4/V100 (16 گیگابایت) اجرا شود. علاوه بر آن، می‌توانید -cpu-offloading را به دستورات بالا اضافه کنید تا وزن‌هایی را که در GPU شما مناسب نیستند در حافظه CPU بارگیری کنید. برای این کار باید فشرده سازی 8 بیتی فعال شود و بسته bitsandbytes نصب شود که فقط در سیستم عامل های لینوکس موجود است.
امکانات
- وزن ها، کد آموزشی و کد ارزیابی برای مدل های پیشرفته
- یک سیستم سرویس دهی چند مدل توزیع شده با رابط کاربری وب و API های RESTful سازگار با OpenAI
- برای آموزش، خدمت، و ارزیابی مدل های زبان بزرگ
- نیاز به رم CPU برای تبدیل وزن را کاهش دهید
- استنتاج با رابط خط فرمان
- چندین مدل پشتیبانی شده
زبان برنامه نویسی
پــایتــون
دسته بندی ها
این برنامه ای است که می تواند از https://sourceforge.net/projects/fastchat.mirror/ نیز دریافت شود. در OnWorks میزبانی شده است تا به آسانی از یکی از سیستم عامل های رایگان ما به صورت آنلاین اجرا شود.
