This is the Linux app named Tiktoken whose latest release can be downloaded as 0.11.0sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Бесплатно скачайте и запустите онлайн это приложение под названием Tiktoken с помощью OnWorks.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ:
тиктокен
ОПИСАНИЕ:
Tiktoken — это высокопроизводительная библиотека токенизатора (основанная на кодировании пар байтов, BPE), разработанная для использования с моделями OpenAI. Она эффективно кодирует и декодирует текст в идентификаторы токенов с минимальными накладными расходами. Поскольку токенизация является фундаментальным шагом в подготовке текста для моделей, Tiktoken оптимизирован для скорости, памяти и корректности в контекстах моделей (например, для соответствия внутренней токенизации OpenAI). Репозиторий поддерживает несколько кодировок (например, «cl100k_base») и позволяет пользователям переключать названия кодировок для соответствия различным контекстам модели. Он также предлагает механизмы расширения для регистрации пользовательских кодировок. Внутри он включает в себя основную логику токенизатора (часто реализованную на Rust или эффективном низкоуровневом коде), API для кодирования, декодирования и подсчета токенов, а также привязку слоев к Python (а иногда и к другим языкам) для простоты использования.
Особенности
- Быстрый токенизатор на основе BPE для преобразования текста в идентификатор токена
- Поддержка нескольких схем кодирования (например, «cl100k_base»)
- API для эффективного кодирования, декодирования и подсчета токенов для оперативного управления длиной
- Механизм расширения/плагина для регистрации пользовательских кодировок
- Привязки к языкам (Python / Rust и т. д.) для интеграции в различные среды
- Используется для оценки стоимости, логики усечения и соответствия ожиданиям модели OpenAI.
Язык программирования
Питон
Категории
Это приложение также можно скачать по адресу https://sourceforge.net/projects/tiktoken.mirror/. Оно размещено на OnWorks для максимально простого запуска онлайн через одну из наших бесплатных операционных систем.