این برنامه لینوکس با نام VLLM است که آخرین نسخه آن را می توان با عنوان v0.2.1.post1sourcecode.zip دانلود کرد. می توان آن را به صورت آنلاین در ارائه دهنده میزبانی رایگان OnWorks برای ایستگاه های کاری اجرا کرد.
این برنامه با نام VLLM را با OnWorks به صورت آنلاین دانلود و اجرا کنید.
برای اجرای این برنامه این دستورالعمل ها را دنبال کنید:
- 1. این برنامه را در رایانه شخصی خود دانلود کنید.
- 2. در فایل منیجر ما https://www.onworks.net/myfiles.php?username=XXXXX نام کاربری مورد نظر خود را وارد کنید.
- 3. این برنامه را در چنین فایل منیجر آپلود کنید.
- 4. OnWorks Linux آنلاین یا شبیه ساز آنلاین ویندوز یا شبیه ساز آنلاین MACOS را از این وب سایت راه اندازی کنید.
- 5. از سیستم عامل لینوکس OnWorks که به تازگی راه اندازی کرده اید، به مدیر فایل ما https://www.onworks.net/myfiles.php?username=XXXXX با نام کاربری که می خواهید بروید.
- 6. اپلیکیشن را دانلود کرده، نصب و اجرا کنید.
اسکرین شات ها:
VLLM
DESCRIPTION:
vLLM یک کتابخانه سریع و آسان برای استنتاج و ارائه LLM است. سرویس دهی با توان بالا با الگوریتم های رمزگشایی مختلف، از جمله نمونه برداری موازی، جستجوی پرتو و موارد دیگر.
امکانات
- توان عملیاتی سرویس دهی به روز
- مدیریت کارآمد حافظه کلید توجه و ارزش با PagedAttention
- دسته بندی مستمر درخواست های دریافتی
- هسته های CUDA بهینه شده
- ادغام یکپارچه با مدل های محبوب HuggingFace
- پشتیبانی از موازی تانسور برای استنتاج توزیع شده
زبان برنامه نویسی
پــایتــون
دسته بندی ها
این برنامه ای است که می تواند از https://sourceforge.net/projects/vllm.mirror/ نیز دریافت شود. در OnWorks میزبانی شده است تا به آسانی از یکی از سیستم عامل های رایگان ما به صورت آنلاین اجرا شود.