This is the Linux app named Tiktoken whose latest release can be downloaded as 0.11.0sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Tiktoken എന്ന് പേരിട്ടിരിക്കുന്ന ഈ ആപ്പ് OnWorks-നൊപ്പം സൗജന്യമായി ഓൺലൈനായി ഡൗൺലോഡ് ചെയ്ത് പ്രവർത്തിപ്പിക്കുക.
ഈ ആപ്പ് പ്രവർത്തിപ്പിക്കുന്നതിന് ഈ നിർദ്ദേശങ്ങൾ പാലിക്കുക:
- 1. നിങ്ങളുടെ പിസിയിൽ ഈ ആപ്ലിക്കേഷൻ ഡൗൺലോഡ് ചെയ്തു.
- 2. ഞങ്ങളുടെ ഫയൽ മാനേജറിൽ https://www.onworks.net/myfiles.php?username=XXXXX എന്നതിൽ നിങ്ങൾക്ക് ആവശ്യമുള്ള ഉപയോക്തൃനാമം നൽകുക.
- 3. അത്തരം ഫയൽമാനേജറിൽ ഈ ആപ്ലിക്കേഷൻ അപ്‌ലോഡ് ചെയ്യുക.
- 4. ഈ വെബ്സൈറ്റിൽ നിന്ന് OnWorks Linux ഓൺലൈനോ Windows ഓൺലൈൻ എമുലേറ്ററോ MACOS ഓൺലൈൻ എമുലേറ്ററോ ആരംഭിക്കുക.
- 5. നിങ്ങൾ ഇപ്പോൾ ആരംഭിച്ച OnWorks Linux OS-ൽ നിന്ന്, നിങ്ങൾക്ക് ആവശ്യമുള്ള ഉപയോക്തൃനാമത്തോടുകൂടിയ ഞങ്ങളുടെ ഫയൽ മാനേജർ https://www.onworks.net/myfiles.php?username=XXXXX എന്നതിലേക്ക് പോകുക.
- 6. ആപ്ലിക്കേഷൻ ഡൌൺലോഡ് ചെയ്യുക, അത് ഇൻസ്റ്റാൾ ചെയ്ത് പ്രവർത്തിപ്പിക്കുക.
സ്ക്രീൻഷോട്ടുകൾ:
ടിക്ടോക്കെൻ
വിവരണം:
Tiktoken എന്നത് OpenAI-യുടെ മോഡലുകൾക്കൊപ്പം ഉപയോഗിക്കുന്നതിനായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്ന ഉയർന്ന പ്രകടനമുള്ള, ടോക്കണൈസർ ലൈബ്രറിയാണ് (ബൈറ്റ്-പെയർ എൻകോഡിംഗ്, BPE അടിസ്ഥാനമാക്കിയുള്ളത്). ഇത് ടോക്കൺ ഐഡികളിലേക്ക് ടെക്സ്റ്റ് എൻകോഡിംഗും ഡീകോഡിംഗും കാര്യക്ഷമമായി കൈകാര്യം ചെയ്യുന്നു, കുറഞ്ഞ ഓവർഹെഡോടെ. മോഡലുകൾക്കായി ടെക്സ്റ്റ് തയ്യാറാക്കുന്നതിൽ ടോക്കണൈസേഷൻ ഒരു അടിസ്ഥാന ഘട്ടമായതിനാൽ, മോഡൽ സന്ദർഭങ്ങളിലെ വേഗത, മെമ്മറി, കൃത്യത എന്നിവയ്ക്കായി tiktoken ഒപ്റ്റിമൈസ് ചെയ്‌തിരിക്കുന്നു (ഉദാ. OpenAI-യുടെ ആന്തരിക ടോക്കണൈസേഷൻ പൊരുത്തപ്പെടുത്തൽ). repo ഒന്നിലധികം എൻകോഡിംഗുകളെ പിന്തുണയ്ക്കുന്നു (ഉദാ. “cl100k_base”) കൂടാതെ വ്യത്യസ്ത മോഡൽ സന്ദർഭങ്ങളുമായി പൊരുത്തപ്പെടുന്നതിന് എൻകോഡിംഗ് പേരുകൾ മാറ്റാൻ ഉപയോക്താക്കളെ അനുവദിക്കുന്നു. ഇഷ്ടാനുസൃത എൻകോഡിംഗുകൾ രജിസ്റ്റർ ചെയ്യാൻ കഴിയുന്ന തരത്തിൽ ഇത് വിപുലീകരണ സംവിധാനങ്ങളും വാഗ്ദാനം ചെയ്യുന്നു. ആന്തരികമായി, കോർ ടോക്കണൈസർ ലോജിക് (പലപ്പോഴും റസ്റ്റിലോ കാര്യക്ഷമമായ ലോവർ-ലെവൽ കോഡിലോ നടപ്പിലാക്കുന്നു), എൻകോഡിംഗ്, ഡീകോഡിംഗ്, ടോക്കണുകൾ എണ്ണുന്നതിനുള്ള API-കൾ, എളുപ്പത്തിലുള്ള ഉപയോഗത്തിനായി പൈത്തണിലേക്ക് (ചിലപ്പോൾ മറ്റ് ഭാഷകളിലും) ലെയറുകൾ ബന്ധിപ്പിക്കൽ എന്നിവ ഇതിൽ ഉൾപ്പെടുന്നു.
സവിശേഷതകൾ
- ടെക്സ്റ്റിനായുള്ള വേഗതയേറിയ BPE-അധിഷ്ഠിത ടോക്കണൈസർ ↔ ടോക്കൺ ഐഡി പരിവർത്തനം
- ഒന്നിലധികം എൻകോഡിംഗ് സ്കീമുകൾക്കുള്ള പിന്തുണ (ഉദാ: “cl100k_base”)
- വേഗത്തിലുള്ള ദൈർഘ്യ നിയന്ത്രണത്തിനായി ടോക്കണുകൾ കാര്യക്ഷമമായി എൻകോഡ് ചെയ്യാനും ഡീകോഡ് ചെയ്യാനും എണ്ണാനുമുള്ള API-കൾ.
- ഇഷ്ടാനുസൃത എൻകോഡിംഗുകൾ രജിസ്റ്റർ ചെയ്യുന്നതിനുള്ള വിപുലീകരണം / പ്ലഗിൻ സംവിധാനം
- വ്യത്യസ്ത പരിതസ്ഥിതികളിലെ സംയോജനത്തിനായുള്ള ഭാഷാ ബന്ധനങ്ങൾ (പൈത്തൺ / റസ്റ്റ് / മുതലായവ).
- ചെലവ് കണക്കാക്കൽ, വെട്ടിച്ചുരുക്കൽ യുക്തി, OpenAI മോഡൽ പ്രതീക്ഷകളുമായി അലൈൻമെന്റ് എന്നിവയ്ക്കായി ഉപയോഗിക്കുന്നു.
പ്രോഗ്രാമിംഗ് ഭാഷ
പൈത്തൺ
Categories
ഇത് https://sourceforge.net/projects/tiktoken.mirror/ എന്നതിൽ നിന്നും ലഭിക്കാവുന്ന ഒരു ആപ്ലിക്കേഷനാണ്. ഞങ്ങളുടെ സൗജന്യ ഓപ്പറേറ്റീവ് സിസ്റ്റങ്ങളിൽ ഒന്നിൽ നിന്ന് ഏറ്റവും എളുപ്പമുള്ള രീതിയിൽ ഓൺലൈനിൽ പ്രവർത്തിപ്പിക്കുന്നതിനായി ഇത് OnWorks-ൽ ഹോസ്റ്റ് ചെയ്‌തിരിക്കുന്നു.