यह वीएलएलएम नाम का लिनक्स ऐप है जिसकी नवीनतम रिलीज को v0.2.1.post1sourcecode.zip के रूप में डाउनलोड किया जा सकता है। इसे वर्कस्टेशन के लिए मुफ्त होस्टिंग प्रदाता ऑनवर्क्स में ऑनलाइन चलाया जा सकता है।
वीएलएलएम नाम के इस ऐप को ऑनवर्क्स के साथ मुफ्त में डाउनलोड करें और ऑनलाइन चलाएं।
इस ऐप को चलाने के लिए इन निर्देशों का पालन करें:
- 1. इस एप्लिकेशन को अपने पीसी में डाउनलोड करें।
- 2. हमारे फ़ाइल प्रबंधक में https://www.onworks.net/myfiles.php?username=XXXXX उस उपयोगकर्ता नाम के साथ दर्ज करें जो आप चाहते हैं।
- 3. इस एप्लिकेशन को ऐसे फाइल मैनेजर में अपलोड करें।
- 4. इस वेबसाइट से ऑनवर्क्स लिनक्स ऑनलाइन या विंडोज ऑनलाइन एमुलेटर या मैकोज़ ऑनलाइन एमुलेटर शुरू करें।
- 5. ऑनवर्क्स लिनक्स ओएस से आपने अभी शुरुआत की है, हमारे फाइल मैनेजर को https://www.onworks.net/myfiles.php?username=XXXXX उस यूजरनेम के साथ जाएं जो आप चाहते हैं।
- 6. एप्लिकेशन डाउनलोड करें, इसे इंस्टॉल करें और इसे चलाएं।
स्क्रीनशॉट:
वीएलएलएम
विवरण:
वीएलएलएम एलएलएम अनुमान और सेवा के लिए एक तेज़ और उपयोग में आसान लाइब्रेरी है। समानांतर नमूनाकरण, बीम खोज और बहुत कुछ सहित विभिन्न डिकोडिंग एल्गोरिदम के साथ उच्च-थ्रूपुट सेवा।
विशेषताएं
- अत्याधुनिक सेवा थ्रूपुट
- PagedAttention के साथ ध्यान कुंजी और मूल्य स्मृति का कुशल प्रबंधन
- आने वाले अनुरोधों का निरंतर बैचिंग
- अनुकूलित CUDA कर्नेल
- लोकप्रिय हगिंगफेस मॉडल के साथ सहज एकीकरण
- वितरित अनुमान के लिए टेन्सर समांतरता समर्थन
प्रोग्रामिंग भाषा
अजगर
श्रेणियाँ
यह एक एप्लिकेशन है जिसे https://sourceforge.net/projects/vllm.mirror/ से भी प्राप्त किया जा सकता है। हमारे निःशुल्क ऑपरेटिव सिस्टमों में से एक से सबसे आसान तरीके से ऑनलाइन चलाने के लिए इसे ऑनवर्क्स में होस्ट किया गया है।