This is the Linux app named Tiktoken whose latest release can be downloaded as 0.11.0sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Tiktoken নামের এই অ্যাপটি OnWorks সহ বিনামূল্যে অনলাইনে ডাউনলোড করুন এবং চালান।
এই অ্যাপটি চালানোর জন্য এই নির্দেশাবলী অনুসরণ করুন:
- 1. আপনার পিসিতে এই অ্যাপ্লিকেশনটি ডাউনলোড করুন৷
- 2. আমাদের ফাইল ম্যানেজারে প্রবেশ করুন https://www.onworks.net/myfiles.php?username=XXXXX আপনি যে ইউজারনেম চান।
- 3. এই ধরনের ফাইল ম্যানেজারে এই অ্যাপ্লিকেশনটি আপলোড করুন।
- 4. এই ওয়েবসাইট থেকে OnWorks Linux অনলাইন বা Windows অনলাইন এমুলেটর বা MACOS অনলাইন এমুলেটর শুরু করুন।
- 5. OnWorks Linux OS থেকে আপনি এইমাত্র শুরু করেছেন, আমাদের ফাইল ম্যানেজারে যান https://www.onworks.net/myfiles.php?username=XXXXX আপনার পছন্দের ব্যবহারকারীর নাম সহ।
- 6. অ্যাপ্লিকেশনটি ডাউনলোড করুন, এটি ইনস্টল করুন এবং এটি চালান।
স্ক্রীনশটগুলি
Ad
টিকটকেন
বর্ণনাঃ
টিকটকেন হল একটি উচ্চ-কার্যক্ষমতাসম্পন্ন, টোকেনাইজার লাইব্রেরি (বাইট-পেয়ার এনকোডিং, BPE-এর উপর ভিত্তি করে) যা OpenAI-এর মডেলগুলির সাথে ব্যবহারের জন্য ডিজাইন করা হয়েছে। এটি টোকেন আইডিগুলিতে টেক্সট এনকোডিং এবং ডিকোডিং দক্ষতার সাথে পরিচালনা করে, ন্যূনতম ওভারহেড সহ। যেহেতু টোকেনাইজেশন মডেলগুলির জন্য টেক্সট প্রস্তুত করার একটি মৌলিক পদক্ষেপ, তাই টিকটকেন মডেল প্রসঙ্গে গতি, মেমরি এবং সঠিকতার জন্য অপ্টিমাইজ করা হয়েছে (যেমন OpenAI-এর অভ্যন্তরীণ টোকেনাইজেশনের সাথে মিল)। রেপো একাধিক এনকোডিং সমর্থন করে (যেমন "cl100k_base") এবং ব্যবহারকারীদের বিভিন্ন মডেল প্রসঙ্গের সাথে মিল রেখে এনকোডিং নাম পরিবর্তন করতে দেয়। এটি এক্সটেনশন মেকানিজমও অফার করে যাতে কাস্টম এনকোডিংগুলি নিবন্ধিত করা যায়। অভ্যন্তরীণভাবে, এতে কোর টোকেনাইজার লজিক (প্রায়শই রাস্ট বা দক্ষ নিম্ন-স্তরের কোডে প্রয়োগ করা হয়), এনকোডিং, ডিকোডিং এবং টোকেন গণনার জন্য API এবং সহজ ব্যবহারের জন্য পাইথনে (এবং কখনও কখনও অন্যান্য ভাষায়) স্তরগুলিকে আবদ্ধ করা অন্তর্ভুক্ত রয়েছে।
বৈশিষ্ট্য
- টেক্সট ↔ টোকেন আইডি রূপান্তরের জন্য দ্রুত BPE-ভিত্তিক টোকেনাইজার
- একাধিক এনকোডিং স্কিমের জন্য সমর্থন (যেমন "cl100k_base")
- দ্রুত দৈর্ঘ্য নিয়ন্ত্রণের জন্য দক্ষতার সাথে টোকেন এনকোড, ডিকোড এবং গণনা করার জন্য API গুলি
- কাস্টম এনকোডিং নিবন্ধনের জন্য এক্সটেনশন / প্লাগইন প্রক্রিয়া
- বিভিন্ন পরিবেশে ইন্টিগ্রেশনের জন্য ভাষা বাইন্ডিং (পাইথন / রাস্ট / ইত্যাদি)
- খরচ অনুমান, ছাঁটাই যুক্তি এবং OpenAI মডেল প্রত্যাশার সাথে সারিবদ্ধকরণের জন্য ব্যবহৃত হয়
প্রোগ্রামিং ভাষা
পাইথন
বিভাগ
এটি এমন একটি অ্যাপ্লিকেশন যা https://sourceforge.net/projects/tiktoken.mirror/ থেকেও আনা যেতে পারে। আমাদের বিনামূল্যের অপারেটিভ সিস্টেমগুলির মধ্যে একটি থেকে সবচেয়ে সহজ উপায়ে অনলাইনে চালানোর জন্য এটি OnWorks-এ হোস্ট করা হয়েছে।
