यह टिकटोकन नाम का एक लिनक्स ऐप है जिसका नवीनतम संस्करण 0.11.0sourcecode.tar.gz के रूप में डाउनलोड किया जा सकता है। इसे वर्कस्टेशन के लिए मुफ़्त होस्टिंग प्रदाता OnWorks पर ऑनलाइन चलाया जा सकता है।
टिकटोकन नामक इस ऐप को ऑनवर्क्स के साथ मुफ्त में डाउनलोड करें और ऑनलाइन चलाएं।
इस ऐप को चलाने के लिए इन निर्देशों का पालन करें:
- 1. इस एप्लिकेशन को अपने पीसी में डाउनलोड करें।
- 2. हमारे फ़ाइल प्रबंधक में https://www.onworks.net/myfiles.php?username=XXXXX उस उपयोगकर्ता नाम के साथ दर्ज करें जो आप चाहते हैं।
- 3. इस एप्लिकेशन को ऐसे फाइल मैनेजर में अपलोड करें।
- 4. इस वेबसाइट से ऑनवर्क्स लिनक्स ऑनलाइन या विंडोज ऑनलाइन एमुलेटर या मैकोज़ ऑनलाइन एमुलेटर शुरू करें।
- 5. ऑनवर्क्स लिनक्स ओएस से आपने अभी शुरुआत की है, हमारे फाइल मैनेजर को https://www.onworks.net/myfiles.php?username=XXXXX उस यूजरनेम के साथ जाएं जो आप चाहते हैं।
- 6. एप्लिकेशन डाउनलोड करें, इसे इंस्टॉल करें और इसे चलाएं।
स्क्रीनशॉट:
टिकटोकन
विवरण:
टिकटोकन एक उच्च-प्रदर्शन, टोकनाइज़र लाइब्रेरी (बाइट-पेयर एन्कोडिंग, BPE पर आधारित) है जिसे OpenAI के मॉडल्स के साथ उपयोग के लिए डिज़ाइन किया गया है। यह न्यूनतम ओवरहेड के साथ, टोकन आईडी में टेक्स्ट की एन्कोडिंग और डिकोडिंग को कुशलतापूर्वक संभालता है। चूँकि मॉडल्स के लिए टेक्स्ट तैयार करने में टोकनाइज़ेशन एक मूलभूत चरण है, टिकटोकन को मॉडल संदर्भों में गति, मेमोरी और शुद्धता के लिए अनुकूलित किया गया है (जैसे OpenAI के आंतरिक टोकनाइज़ेशन से मिलान)। रेपो कई एन्कोडिंग (जैसे "cl100k_base") का समर्थन करता है और उपयोगकर्ताओं को विभिन्न मॉडल संदर्भों से मिलान करने के लिए एन्कोडिंग नामों को बदलने देता है। यह एक्सटेंशन मैकेनिज्म भी प्रदान करता है ताकि कस्टम एन्कोडिंग पंजीकृत की जा सकें। आंतरिक रूप से, इसमें कोर टोकनाइज़र लॉजिक (अक्सर रस्ट या कुशल निम्न-स्तरीय कोड में कार्यान्वित), एन्कोडिंग, डिकोडिंग और टोकन गिनने के लिए API, और आसान उपयोग के लिए पायथन (और कभी-कभी अन्य भाषाओं) से परतों को बाँधना शामिल है।
विशेषताएं
- टेक्स्ट ↔ टोकन आईडी रूपांतरण के लिए तेज़ BPE-आधारित टोकनाइज़र
- एकाधिक एन्कोडिंग योजनाओं के लिए समर्थन (उदाहरण के लिए “cl100k_base”)
- शीघ्र लंबाई नियंत्रण के लिए टोकन को कुशलतापूर्वक एनकोड, डिकोड और गिनने के लिए API
- कस्टम एनकोडिंग पंजीकृत करने के लिए एक्सटेंशन / प्लगइन तंत्र
- विभिन्न वातावरणों में एकीकरण के लिए भाषा बाइंडिंग (पायथन / रस्ट / आदि)
- लागत अनुमान, ट्रंकेशन तर्क और OpenAI मॉडल अपेक्षाओं के साथ संरेखण के लिए उपयोग किया जाता है
प्रोग्रामिंग भाषा
अजगर
श्रेणियाँ
यह एक ऐसा एप्लिकेशन है जिसे https://sourceforge.net/projects/tiktoken.mirror/ से भी प्राप्त किया जा सकता है। इसे हमारे किसी भी निःशुल्क ऑपरेटिव सिस्टम से सबसे आसान तरीके से ऑनलाइन चलाने के लिए OnWorks में होस्ट किया गया है।