این یک برنامه لینوکس به نام Pruna AI است که آخرین نسخه آن را می‌توانید با عنوان Releasev0.2.9sourcecode.tar.gz دانلود کنید. این برنامه را می‌توان به صورت آنلاین در ارائه دهنده هاست رایگان OnWorks برای ایستگاه‌های کاری اجرا کرد.
این برنامه با نام Pruna AI with OnWorks را به صورت رایگان دانلود و اجرا کنید.
برای اجرای این برنامه این دستورالعمل ها را دنبال کنید:
- 1. این برنامه را در رایانه شخصی خود دانلود کنید.
- 2. در فایل منیجر ما https://www.onworks.net/myfiles.php?username=XXXXX نام کاربری مورد نظر خود را وارد کنید.
- 3. این برنامه را در چنین فایل منیجر آپلود کنید.
- 4. OnWorks Linux آنلاین یا شبیه ساز آنلاین ویندوز یا شبیه ساز آنلاین MACOS را از این وب سایت راه اندازی کنید.
- 5. از سیستم عامل لینوکس OnWorks که به تازگی راه اندازی کرده اید، به مدیر فایل ما https://www.onworks.net/myfiles.php?username=XXXXX با نام کاربری که می خواهید بروید.
- 6. اپلیکیشن را دانلود کرده، نصب و اجرا کنید.
عکس ها
Ad
Pruna AI
شرح
پرونا یک موتور استنتاج هوش مصنوعی متن‌باز و خود-میزبان است که برای کمک به تیم‌ها در استقرار و مدیریت کارآمد مدل‌های زبانی بزرگ (LLM) در زیرساخت‌های خصوصی یا ترکیبی طراحی شده است. پرونا که با در نظر گرفتن عملکرد و ارگونومی توسعه‌دهندگان ساخته شده است، با فعال کردن تنظیم چند مدلی، مقیاس‌بندی خودکار، تخصیص منابع GPU و سازگاری با مدل‌های متن‌باز محبوب، گردش‌های کاری استنتاج را ساده می‌کند. این موتور برای شرکت‌ها یا تیم‌هایی که به دنبال کاهش وابستگی به APIهای خارجی هستند و در عین حال سرعت، بهره‌وری هزینه و کنترل کامل بر داده‌ها و پشته هوش مصنوعی خود را حفظ می‌کنند، ایده‌آل است. پرونا با تمرکز بر توسعه‌پذیری و مشاهده‌پذیری، مهندسان را قادر می‌سازد تا برنامه‌های LLM را از نمونه اولیه تا تولید، به طور ایمن و قابل اعتماد مقیاس‌بندی کنند.
امکانات
- موتور خود میزبان برای مدیریت استنتاج LLM
- پشتیبانی از ارکستراسیون و مسیریابی چند مدلی
- مقیاس‌بندی خودکار پویا برای بهینه‌سازی منابع
- زمان‌بندی و متعادل‌سازی بار با توجه به GPU
- سازگار با مدل‌های متن‌باز مانند LLaMA و Mistral
- API های HTTP و gRPC برای ادغام آسان
- قابلیت مشاهده و ردیابی عملکرد داخلی
- آماده برای استقرار با پشتیبانی از Docker و Kubernetes
زبان برنامه نویسی
پــایتــون
دسته بندی ها
این برنامه‌ای است که می‌توان آن را از https://sourceforge.net/projects/pruna-ai.mirror/ نیز دریافت کرد. این برنامه در OnWorks میزبانی شده است تا بتوان آن را به ساده‌ترین روش به صورت آنلاین از یکی از سیستم‌های عامل رایگان ما اجرا کرد.
