ഇതാണ് SGLang എന്ന് പേരിട്ടിരിക്കുന്ന Linux ആപ്പ്, ഇതിന്റെ ഏറ്റവും പുതിയ പതിപ്പ് Releasev0.5.2sourcecode.tar.gz ആയി ഡൗൺലോഡ് ചെയ്യാം. വർക്ക്സ്റ്റേഷനുകൾക്കായുള്ള സൗജന്യ ഹോസ്റ്റിംഗ് ദാതാവായ OnWorks-ൽ ഇത് ഓൺലൈനായി പ്രവർത്തിപ്പിക്കാം.
SGLang എന്ന് പേരിട്ടിരിക്കുന്ന ഈ ആപ്പ് OnWorks-നൊപ്പം സൗജന്യമായി ഓൺലൈനായി ഡൗൺലോഡ് ചെയ്ത് പ്രവർത്തിപ്പിക്കുക.
ഈ ആപ്പ് പ്രവർത്തിപ്പിക്കുന്നതിന് ഈ നിർദ്ദേശങ്ങൾ പാലിക്കുക:
- 1. നിങ്ങളുടെ പിസിയിൽ ഈ ആപ്ലിക്കേഷൻ ഡൗൺലോഡ് ചെയ്തു.
- 2. ഞങ്ങളുടെ ഫയൽ മാനേജറിൽ https://www.onworks.net/myfiles.php?username=XXXXX എന്നതിൽ നിങ്ങൾക്ക് ആവശ്യമുള്ള ഉപയോക്തൃനാമം നൽകുക.
- 3. അത്തരം ഫയൽമാനേജറിൽ ഈ ആപ്ലിക്കേഷൻ അപ്‌ലോഡ് ചെയ്യുക.
- 4. ഈ വെബ്സൈറ്റിൽ നിന്ന് OnWorks Linux ഓൺലൈനോ Windows ഓൺലൈൻ എമുലേറ്ററോ MACOS ഓൺലൈൻ എമുലേറ്ററോ ആരംഭിക്കുക.
- 5. നിങ്ങൾ ഇപ്പോൾ ആരംഭിച്ച OnWorks Linux OS-ൽ നിന്ന്, നിങ്ങൾക്ക് ആവശ്യമുള്ള ഉപയോക്തൃനാമത്തോടുകൂടിയ ഞങ്ങളുടെ ഫയൽ മാനേജർ https://www.onworks.net/myfiles.php?username=XXXXX എന്നതിലേക്ക് പോകുക.
- 6. ആപ്ലിക്കേഷൻ ഡൌൺലോഡ് ചെയ്യുക, അത് ഇൻസ്റ്റാൾ ചെയ്ത് പ്രവർത്തിപ്പിക്കുക.
സ്ക്രീൻഷോട്ടുകൾ
Ad
എസ്‌ജിലാങ്
വിവരണം
വലിയ ഭാഷാ മോഡലുകൾക്കും വിഷൻ ലാംഗ്വേജ് മോഡലുകൾക്കുമായി വേഗത്തിൽ പ്രവർത്തിക്കുന്ന ഒരു ഫ്രെയിംവർക്കാണ് SGLang. ബാക്കെൻഡ് റൺടൈമും ഫ്രണ്ട്‌എൻഡ് ഭാഷയും സഹ-രൂപകൽപ്പന ചെയ്യുന്നതിലൂടെ മോഡലുകളുമായുള്ള നിങ്ങളുടെ ഇടപെടൽ വേഗത്തിലും കൂടുതൽ നിയന്ത്രിക്കാവുന്നതുമാക്കുന്നു.
സവിശേഷതകൾ
- പ്രിഫിക്‌സ് കാഷിംഗ്, ജമ്പ്-ഫോർവേഡ് കൺസ്ട്രൈൻഡ് ഡീകോഡിംഗ്, ഓവർഹെഡ്-ഫ്രീ സിപിയു ഷെഡ്യൂളർ, തുടർച്ചയായ ബാച്ചിംഗ്, ടോക്കൺ ശ്രദ്ധ (പേജ്ഡ് ശ്രദ്ധ), ടെൻസർ പാരലലിസം, ഫ്ലാഷ്ഇൻഫെർ കേർണലുകൾ, ചങ്ക്ഡ് പ്രീഫിൽ, ക്വാണ്ടൈസേഷൻ (FP8/INT4/AWQ/GPTQ) എന്നിവയ്‌ക്കായി റാഡിക്‌സ് അറ്റൻഷനുമായി കാര്യക്ഷമമായ സേവനം നൽകുന്നു.
- ചെയിൻഡ് ജനറേഷൻ കോളുകൾ, അഡ്വാൻസ്ഡ് പ്രോംപ്റ്റിംഗ്, കൺട്രോൾ ഫ്ലോ, മൾട്ടി-മോഡൽ ഇൻപുട്ടുകൾ, പാരലലിസം, ബാഹ്യ ഇടപെടലുകൾ എന്നിവയുൾപ്പെടെ എൽഎൽഎം ആപ്ലിക്കേഷനുകൾ പ്രോഗ്രാമിംഗ് ചെയ്യുന്നതിനായി ഒരു അവബോധജന്യമായ ഇന്റർഫേസ് വാഗ്ദാനം ചെയ്യുന്നു.
- പുതിയ മോഡലുകൾ സംയോജിപ്പിക്കുന്നതിനുള്ള എളുപ്പത്തിലുള്ള വിപുലീകരണത്തോടെ, വൈവിധ്യമാർന്ന ജനറേറ്റീവ് മോഡലുകൾ (ലാമ, ജെമ്മ, മിസ്ട്രൽ, ക്യുവെൻ, ഡീപ്‌സീക്ക്, എൽഎൽഎവിഎ, മുതലായവ), എംബെഡിംഗ് മോഡലുകൾ (ഇ5-മിസ്ട്രൽ, ജിടിഇ), റിവാർഡ് മോഡലുകൾ (സ്കൈവർക്ക്) എന്നിവയെ പിന്തുണയ്ക്കുന്നു.
- SGLang ഓപ്പൺ സോഴ്‌സാണ്, വ്യവസായ ദത്തെടുക്കലുള്ള സജീവമായ ഒരു സമൂഹത്തിന്റെ പിന്തുണയും ഇതിനുണ്ട്.
- ഡോക്യുമെന്റേഷൻ ലഭ്യമാണ്
പ്രോഗ്രാമിംഗ് ഭാഷ
പൈത്തൺ
Categories
ഇത് https://sourceforge.net/projects/sglang.mirror/ എന്നതിൽ നിന്നും ലഭിക്കാവുന്ന ഒരു ആപ്ലിക്കേഷനാണ്. ഞങ്ങളുടെ സൗജന്യ ഓപ്പറേറ്റീവ് സിസ്റ്റങ്ങളിൽ ഒന്നിൽ നിന്ന് ഏറ്റവും എളുപ്പമുള്ള രീതിയിൽ ഓൺലൈനിൽ പ്രവർത്തിപ്പിക്കുന്നതിനായി ഇത് OnWorks-ൽ ഹോസ്റ്റ് ചെയ്‌തിരിക്കുന്നു.
