Это приложение для Windows под названием Tokenizers, последнюю версию которого можно загрузить как v0.14.1.zip. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите онлайн это приложение под названием Tokenizers with OnWorks бесплатно.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите любой онлайн-эмулятор OS OnWorks с этого сайта, но лучше онлайн-эмулятор Windows.
- 5. В только что запущенной ОС Windows OnWorks перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение и установите его.
- 7. Загрузите Wine из репозиториев программного обеспечения вашего дистрибутива Linux. После установки вы можете дважды щелкнуть приложение, чтобы запустить его с помощью Wine. Вы также можете попробовать PlayOnLinux, необычный интерфейс поверх Wine, который поможет вам установить популярные программы и игры для Windows.
Wine - это способ запустить программное обеспечение Windows в Linux, но без Windows. Wine - это уровень совместимости с Windows с открытым исходным кодом, который может запускать программы Windows непосредственно на любом рабочем столе Linux. По сути, Wine пытается заново реализовать Windows с нуля, чтобы можно было запускать все эти Windows-приложения, фактически не нуждаясь в Windows.
СКРИНШОТЫ
Ad
Токенизаторы
ОПИСАНИЕ
Быстрые современные токенизаторы, оптимизированные как для исследований, так и для производства. Tokenizers обеспечивает реализацию наиболее часто используемых на сегодняшний день токенизаторов с упором на производительность и универсальность. Эти токенизаторы также используются в Transformers. Обучайте новые словари и токенизируйте, используя наиболее часто используемые на сегодняшний день токенизаторы. Чрезвычайно быстро (как обучение, так и токенизация) благодаря реализации Rust. Для токенизации ГБ текста на ЦП сервера требуется менее 20 секунд. Прост в использовании, но также чрезвычайно универсален. Предназначен как для исследований, так и для производства. Полное отслеживание выравнивания. Даже при деструктивной нормализации всегда можно получить ту часть исходного предложения, которая соответствует любой лексеме. Выполняет всю предварительную обработку: усечение, заполнение, добавляет специальные токены, необходимые вашей модели.
Особенности
- Тренируйте новые словари и токенизируйте, используя наиболее часто используемые на сегодняшний день токенизаторы
- Чрезвычайно быстро (как обучение, так и токенизация) благодаря реализации Rust. Требуется менее 20 секунд для токенизации ГБ текста на ЦП сервера.
- Прост в использовании, но также чрезвычайно универсален
- Предназначен как для исследований, так и для производства
- Полное отслеживание выравнивания
- Усечение, заполнение, добавление специальных токенов, которые нужны вашей модели.
Язык программирования
Ржавчина
Категории
Это приложение также можно загрузить с https://sourceforge.net/projects/tokenizers.mirror/. Он был размещен в OnWorks, чтобы его можно было легко запускать в Интернете с помощью одной из наших бесплатных операционных систем.
