This is the Linux app named Tiktoken whose latest release can be downloaded as 0.11.0sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
قم بتنزيل وتشغيل هذا التطبيق المسمى Tiktoken عبر الإنترنت باستخدام OnWorks مجانًا.
اتبع هذه التعليمات لتشغيل هذا التطبيق:
- 1. قم بتنزيل هذا التطبيق على جهاز الكمبيوتر الخاص بك.
- 2. أدخل في مدير الملفات الخاص بنا https://www.onworks.net/myfiles.php؟username=XXXXX باسم المستخدم الذي تريده.
- 3. تحميل هذا التطبيق في هذا الملف.
- 4. ابدأ تشغيل OnWorks Linux عبر الإنترنت أو محاكي Windows عبر الإنترنت أو محاكي MACOS عبر الإنترنت من هذا الموقع.
- 5. من نظام تشغيل OnWorks Linux الذي بدأته للتو ، انتقل إلى مدير الملفات الخاص بنا https://www.onworks.net/myfiles.php؟username=XXXXX مع اسم المستخدم الذي تريده.
- 6. قم بتنزيل التطبيق وتثبيته وتشغيله.
SCREENSHOTS
Ad
تيك توك
الوصف
tiktoken هي مكتبة ترميز عالية الأداء (تعتمد على ترميز أزواج البايتات، BPE) مصممة للاستخدام مع نماذج OpenAI. تتولى هذه المكتبة ترميز وفك ترميز النصوص إلى معرفات الرموز بكفاءة، مع الحد الأدنى من التكاليف الإضافية. ولأن الترميز خطوة أساسية في إعداد النصوص للنماذج، فقد تم تحسين tiktoken من حيث السرعة والذاكرة والدقة في سياقات النماذج (مثل مطابقة الترميز الداخلي لـ OpenAI). يدعم المستودع ترميزات متعددة (مثل "cl100k_base") ويتيح للمستخدمين تبديل أسماء الترميز لمطابقة سياقات النماذج المختلفة. كما يوفر آليات توسعة لتسجيل ترميزات مخصصة. داخليًا، تتضمن منطق الترميز الأساسي (غالبًا ما يتم تنفيذه في Rust أو كود فعال منخفض المستوى)، وواجهات برمجة تطبيقات للترميز وفك الترميز وحساب الرموز، وربط الطبقات بلغة Python (وأحيانًا بلغات أخرى) لسهولة الاستخدام.
شرح المميزات:
- مُجزئ سريع قائم على BPE لتحويل النص إلى معرف الرمز
- دعم مخططات الترميز المتعددة (على سبيل المثال "cl100k_base")
- واجهات برمجة التطبيقات لتشفير وفك تشفير وحساب الرموز بكفاءة للتحكم الفوري في الطول
- آلية التمديد/المكون الإضافي لتسجيل الترميزات المخصصة
- ربطات اللغة (Python / Rust / إلخ) للتكامل في بيئات مختلفة
- تُستخدم لتقدير التكلفة ومنطق التقليص والتوافق مع توقعات نموذج OpenAI
لغة البرمجة
Python
التصنيفات
هذا تطبيق يُمكن تنزيله أيضًا من https://sourceforge.net/projects/tiktoken.mirror/. وقد استُضيف في OnWorks لتشغيله عبر الإنترنت بسهولة من أحد أنظمتنا التشغيلية المجانية.
