This is the Linux app named Tiktoken whose latest release can be downloaded as 0.11.0sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
این برنامه با نام Tiktoken with OnWorks را به صورت رایگان دانلود و اجرا کنید.
برای اجرای این برنامه این دستورالعمل ها را دنبال کنید:
- 1. این برنامه را در رایانه شخصی خود دانلود کنید.
- 2. در فایل منیجر ما https://www.onworks.net/myfiles.php?username=XXXXX نام کاربری مورد نظر خود را وارد کنید.
- 3. این برنامه را در چنین فایل منیجر آپلود کنید.
- 4. OnWorks Linux آنلاین یا شبیه ساز آنلاین ویندوز یا شبیه ساز آنلاین MACOS را از این وب سایت راه اندازی کنید.
- 5. از سیستم عامل لینوکس OnWorks که به تازگی راه اندازی کرده اید، به مدیر فایل ما https://www.onworks.net/myfiles.php?username=XXXXX با نام کاربری که می خواهید بروید.
- 6. اپلیکیشن را دانلود کرده، نصب و اجرا کنید.
عکس ها
Ad
تیک‌تاک
شرح
tiktoken یک کتابخانه توکن‌ساز با کارایی بالا (مبتنی بر کدگذاری جفت بایت، BPE) است که برای استفاده با مدل‌های OpenAI طراحی شده است. این کتابخانه، کدگذاری و رمزگشایی متن به شناسه‌های توکن را به طور کارآمد و با حداقل سربار انجام می‌دهد. از آنجا که توکن‌سازی یک گام اساسی در آماده‌سازی متن برای مدل‌ها است، tiktoken برای سرعت، حافظه و صحت در زمینه‌های مدل (مثلاً تطبیق با توکن‌سازی داخلی OpenAI) بهینه شده است. این مخزن از کدگذاری‌های متعدد (مثلاً "cl100k_base") پشتیبانی می‌کند و به کاربران اجازه می‌دهد نام‌های کدگذاری را برای مطابقت با زمینه‌های مدل مختلف تغییر دهند. همچنین مکانیسم‌های افزونه‌ای را ارائه می‌دهد تا کدگذاری‌های سفارشی قابل ثبت باشند. در داخل، شامل منطق توکن‌ساز اصلی (که اغلب در Rust یا کد سطح پایین‌تر کارآمد پیاده‌سازی می‌شود)، APIهایی برای کدگذاری، رمزگشایی و شمارش توکن‌ها و اتصال لایه‌ها به پایتون (و گاهی اوقات زبان‌های دیگر) برای استفاده آسان است.
امکانات
- تبدیل سریع توکن‌ساز مبتنی بر BPE برای متن ↔ شناسه توکن
- پشتیبانی از چندین طرح کدگذاری (به عنوان مثال "cl100k_base")
- رابط‌های برنامه‌نویسی کاربردی (API) برای رمزگذاری، رمزگشایی و شمارش کارآمد توکن‌ها برای کنترل سریع طول
- مکانیزم افزونه/پلاگین برای ثبت کدگذاری‌های سفارشی
- اتصال زبان‌ها (پایتون / راست / و غیره) برای ادغام در محیط‌های مختلف
- برای تخمین هزینه، منطق برش و هم‌ترازی با انتظارات مدل OpenAI استفاده می‌شود.
زبان برنامه نویسی
پــایتــون
دسته بندی ها
این برنامه‌ای است که می‌توان آن را از https://sourceforge.net/projects/tiktoken.mirror/ نیز دریافت کرد. این برنامه در OnWorks میزبانی شده است تا بتوان آن را به ساده‌ترین روش از یکی از سیستم‌های عامل رایگان ما به صورت آنلاین اجرا کرد.
