دانلود SGLang برای لینوکس

این یک برنامه لینوکس به نام SGLang است که آخرین نسخه آن را می‌توانید با عنوان Releasev0.5.2sourcecode.tar.gz دانلود کنید. این برنامه را می‌توان به صورت آنلاین در ارائه دهنده هاست رایگان OnWorks برای ایستگاه‌های کاری اجرا کرد.

عکس ها

SGLang

شرح

SGLang یک چارچوب سریع برای مدل‌های زبانی بزرگ و مدل‌های زبانی بصری است. این چارچوب با طراحی مشترک زبان زمان اجرای backend و frontend، تعامل شما با مدل‌ها را سریع‌تر و قابل کنترل‌تر می‌کند.

امکانات

• ارائه خدمات کارآمد با RadixAttention برای ذخیره‌سازی پیشوندی، رمزگشایی محدود به پرش به جلو، زمان‌بندی CPU بدون سربار، دسته‌بندی مداوم، توجه توکن (توجه صفحه‌بندی شده)، موازی‌سازی تانسوری، هسته‌های FlashInfer، پیش‌پرسازی تکه‌ای و کوانتیزاسیون (FP8/INT4/AWQ/GPTQ)
• رابط کاربری بصری برای برنامه‌نویسی برنامه‌های LLM ارائه می‌دهد، از جمله فراخوانی‌های تولید زنجیره‌ای، اعلان پیشرفته، جریان کنترل، ورودی‌های چندوجهی، موازی‌سازی و تعاملات خارجی
• پشتیبانی از طیف گسترده‌ای از مدل‌های مولد (Llama، Gemma، Mistral، QWen، DeepSeek، LLaVA و غیره)، مدل‌های تعبیه (e5-mistral، gte) و مدل‌های پاداش (Skywork)، با قابلیت توسعه آسان برای ادغام مدل‌های جدید
• SGLang متن‌باز است و توسط یک جامعه فعال با پذیرش در صنعت پشتیبانی می‌شود.
• اسناد موجود

زبان برنامه نویسی

پــایتــون

دسته بندی ها

این برنامه‌ای است که می‌توان آن را از https://sourceforge.net/projects/sglang.mirror/ نیز دریافت کرد. این برنامه در OnWorks میزبانی شده است تا بتوان آن را به ساده‌ترین روش از طریق یکی از سیستم‌های عامل رایگان ما به صورت آنلاین اجرا کرد.