এটি vLLM নামের উইন্ডোজ অ্যাপ যার সর্বশেষ প্রকাশ v0.10.1.1sourcecode.tar.gz হিসাবে ডাউনলোড করা যেতে পারে। এটি ওয়ার্কস্টেশনের জন্য বিনামূল্যের হোস্টিং প্রদানকারী OnWorks-এ অনলাইনে চালানো যেতে পারে।
বিনামূল্যের OnWorks সহ vLLM নামের এই অ্যাপটি অনলাইনে ডাউনলোড করুন এবং চালান।
এই অ্যাপটি চালানোর জন্য এই নির্দেশাবলী অনুসরণ করুন:
- 1. আপনার পিসিতে এই অ্যাপ্লিকেশনটি ডাউনলোড করুন৷
- 2. আমাদের ফাইল ম্যানেজারে প্রবেশ করুন https://www.onworks.net/myfiles.php?username=XXXXX আপনি যে ইউজারনেম চান।
- 3. এই ধরনের ফাইল ম্যানেজারে এই অ্যাপ্লিকেশনটি আপলোড করুন।
- 4. এই ওয়েবসাইট থেকে যেকোনো OS OnWorks অনলাইন এমুলেটর শুরু করুন, তবে আরও ভালো উইন্ডোজ অনলাইন এমুলেটর।
- 5. OnWorks Windows OS থেকে আপনি এইমাত্র শুরু করেছেন, আমাদের ফাইল ম্যানেজারে যান https://www.onworks.net/myfiles.php?username=XXXXX আপনার পছন্দের ব্যবহারকারীর নাম সহ।
- 6. অ্যাপ্লিকেশনটি ডাউনলোড করুন এবং এটি ইনস্টল করুন।
- 7. আপনার লিনাক্স ডিস্ট্রিবিউশন সফ্টওয়্যার সংগ্রহস্থল থেকে ওয়াইন ডাউনলোড করুন। একবার ইনস্টল হয়ে গেলে, আপনি ওয়াইন দিয়ে চালানোর জন্য অ্যাপটিতে ডাবল-ক্লিক করতে পারেন। এছাড়াও আপনি PlayOnLinux ব্যবহার করে দেখতে পারেন, ওয়াইনের উপর একটি অভিনব ইন্টারফেস যা আপনাকে জনপ্রিয় উইন্ডোজ প্রোগ্রাম এবং গেম ইনস্টল করতে সাহায্য করবে।
ওয়াইন লিনাক্সে উইন্ডোজ সফ্টওয়্যার চালানোর একটি উপায়, কিন্তু কোন উইন্ডোজ প্রয়োজন নেই। ওয়াইন হল একটি ওপেন সোর্স উইন্ডোজ সামঞ্জস্যপূর্ণ স্তর যা সরাসরি যেকোনো লিনাক্স ডেস্কটপে উইন্ডোজ প্রোগ্রাম চালাতে পারে। মূলত, ওয়াইন স্ক্র্যাচ থেকে পর্যাপ্ত উইন্ডোজ পুনরায় প্রয়োগ করার চেষ্টা করছে যাতে এটি আসলে উইন্ডোজের প্রয়োজন ছাড়াই সেই সমস্ত উইন্ডোজ অ্যাপ্লিকেশন চালাতে পারে।
স্ক্রীনশটগুলি
Ad
ভিএলএলএম
বর্ণনাঃ
vLLM হল LLM অনুমান এবং পরিবেশনের জন্য একটি দ্রুত এবং সহজেই ব্যবহারযোগ্য লাইব্রেরি। সমান্তরাল নমুনা, মরীচি অনুসন্ধান এবং আরও অনেক কিছু সহ বিভিন্ন ডিকোডিং অ্যালগরিদমের সাথে উচ্চ-থ্রুপুট পরিবেশন।
বৈশিষ্ট্য
- অত্যাধুনিক পরিবেশন থ্রুপুট
- PagedAttention-এর সাথে মনোযোগ কী এবং মান মেমরির দক্ষ ব্যবস্থাপনা
- ইনকামিং অনুরোধ ক্রমাগত ব্যাচিং
- অপ্টিমাইজড CUDA কার্নেল
- জনপ্রিয় HuggingFace মডেলের সাথে বিরামহীন একীকরণ
- বিতরণকৃত অনুমানের জন্য টেনসর সমান্তরাল সমর্থন
প্রোগ্রামিং ভাষা
পাইথন
বিভাগ
এটি একটি অ্যাপ্লিকেশন যা https://sourceforge.net/projects/vllm.mirror/ থেকেও আনা যেতে পারে। আমাদের বিনামূল্যের অপারেটিভ সিস্টেমগুলির মধ্যে একটি থেকে সবচেয়ে সহজ উপায়ে অনলাইনে চালানোর জন্য এটি OnWorks-এ হোস্ট করা হয়েছে।
