هذا هو تطبيق Linux المسمى VLLM والذي يمكن تنزيل أحدث إصدار له باسم v0.2.1.post1sourcecode.zip. يمكن تشغيله عبر الإنترنت في موفر الاستضافة المجاني OnWorks لمحطات العمل.
قم بتنزيل وتشغيل هذا التطبيق عبر الإنترنت المسمى VLLM مع OnWorks مجانًا.
اتبع هذه التعليمات لتشغيل هذا التطبيق:
- 1. قم بتنزيل هذا التطبيق على جهاز الكمبيوتر الخاص بك.
- 2. أدخل في مدير الملفات الخاص بنا https://www.onworks.net/myfiles.php؟username=XXXXX باسم المستخدم الذي تريده.
- 3. تحميل هذا التطبيق في هذا الملف.
- 4. ابدأ تشغيل OnWorks Linux عبر الإنترنت أو محاكي Windows عبر الإنترنت أو محاكي MACOS عبر الإنترنت من هذا الموقع.
- 5. من نظام تشغيل OnWorks Linux الذي بدأته للتو ، انتقل إلى مدير الملفات الخاص بنا https://www.onworks.net/myfiles.php؟username=XXXXX مع اسم المستخدم الذي تريده.
- 6. قم بتنزيل التطبيق وتثبيته وتشغيله.
SCREENSHOTS
Ad
VLLM
الوصف
vLLM هي مكتبة سريعة وسهلة الاستخدام لاستدلال وتقديم LLM. خدمة إنتاجية عالية مع خوارزميات فك التشفير المختلفة، بما في ذلك أخذ العينات المتوازية والبحث عن الشعاع والمزيد.
المميزات
- أحدث إنتاجية الخدمة
- إدارة فعالة لمفتاح الانتباه وذاكرة القيمة باستخدام PagedAttention
- التجميع المستمر للطلبات الواردة
- حبات CUDA المحسنة
- التكامل السلس مع نماذج HuggingFace الشهيرة
- دعم توازي الموتر للاستدلال الموزع
لغة البرمجة
بايثون
الفئات
هذا تطبيق يمكن جلبه أيضًا من https://sourceforge.net/projects/vllm.mirror/. وقد تمت استضافته في OnWorks ليتم تشغيله عبر الإنترنت بأسهل طريقة من أحد أنظمة التشغيل المجانية لدينا.