Це програма для Linux під назвою Tokenizers, останню версію якої можна завантажити як v0.14.1.zip. Його можна запустити онлайн у безкоштовного хостинг-провайдера OnWorks для робочих станцій.
Завантажте та запустіть цю програму під назвою Tokenizers with OnWorks безкоштовно.
Дотримуйтесь цих інструкцій, щоб запустити цю програму:
- 1. Завантажив цю програму на свій ПК.
- 2. Введіть у наш файловий менеджер https://www.onworks.net/myfiles.php?username=XXXXX із потрібним ім'ям користувача.
- 3. Завантажте цю програму в такий файловий менеджер.
- 4. Запустіть онлайн-емулятор OnWorks Linux або Windows або онлайн-емулятор MACOS з цього веб-сайту.
- 5. З ОС OnWorks Linux, яку ви щойно запустили, перейдіть до нашого файлового менеджера https://www.onworks.net/myfiles.php?username=XXXXX з потрібним іменем користувача.
- 6. Завантажте програму, встановіть її та запустіть.
ЕКРАНИ
Ad
Токенізатори
ОПИС
Швидкі сучасні токенізатори, оптимізовані як для досліджень, так і для виробництва. Tokenizers забезпечує реалізацію найбільш використовуваних сьогодні токенізаторів, зосереджену на продуктивності та універсальності. Ці токенізери також використовуються в Трансформерах. Навчайте нові словники та токенізуйте, використовуючи найпопулярніші сьогодні токенізатори. Надзвичайно швидкий (як навчання, так і токенізація) завдяки реалізації Rust. Для токенізації ГБ тексту на ЦП сервера потрібно менше 20 секунд. Простий у використанні, але також надзвичайно універсальний. Призначений як для досліджень, так і для виробництва. Відстеження повного вирівнювання. Навіть за допомогою деструктивної нормалізації завжди можна отримати частину вихідного речення, яка відповідає будь-якій лексемі. Виконує всю попередню обробку: усікання, заповнення, додає спеціальні маркери, які потрібні вашій моделі.
риси
- Навчайте нові словники та токенізуйте, використовуючи найпопулярніші сьогодні токенізатори
- Надзвичайно швидкий (як навчання, так і токенізація) завдяки реалізації Rust. Для токенізації ГБ тексту на ЦП сервера потрібно менше 20 секунд
- Простий у використанні, але також надзвичайно універсальний
- Призначений як для досліджень, так і для виробництва
- Відстеження повного вирівнювання
- Усічення, заповнення, додайте спеціальні маркери, які потрібні вашій моделі
Мова програмування
Іржа
Категорії
Це додаток, який також можна завантажити з https://sourceforge.net/projects/tokenizers.mirror/. Його розміщено в OnWorks, щоб його можна було найпростіше запускати онлайн з однієї з наших безкоштовних операційних систем.
