This is the Linux app named Tiktoken whose latest release can be downloaded as 0.11.0sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Tải xuống và chạy trực tuyến ứng dụng có tên Tiktoken với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH:
tiktoken
SỰ MIÊU TẢ:
tiktoken là một thư viện tokenizer hiệu suất cao (dựa trên mã hóa cặp byte, BPE) được thiết kế để sử dụng với các mô hình của OpenAI. Nó xử lý mã hóa và giải mã văn bản thành ID token một cách hiệu quả, với chi phí tối thiểu. Vì tokenization là một bước cơ bản trong việc chuẩn bị văn bản cho các mô hình, tiktoken được tối ưu hóa về tốc độ, bộ nhớ và tính chính xác trong các ngữ cảnh mô hình (ví dụ: khớp với tokenization nội bộ của OpenAI). Kho lưu trữ hỗ trợ nhiều loại mã hóa (ví dụ: "cl100k_base") và cho phép người dùng chuyển đổi tên mã hóa để khớp với các ngữ cảnh mô hình khác nhau. Nó cũng cung cấp các cơ chế mở rộng để có thể đăng ký các mã hóa tùy chỉnh. Về mặt nội bộ, nó bao gồm logic tokenizer cốt lõi (thường được triển khai trong Rust hoặc mã cấp thấp hiệu quả hơn), các API để mã hóa, giải mã và đếm token, và các lớp liên kết với Python (và đôi khi là các ngôn ngữ khác) để dễ sử dụng.
Tính năng
- Trình phân tích mã thông báo nhanh dựa trên BPE để chuyển đổi ID văn bản ↔ mã thông báo
- Hỗ trợ nhiều lược đồ mã hóa (ví dụ: “cl100k_base”)
- API để mã hóa, giải mã và đếm mã thông báo hiệu quả để kiểm soát độ dài nhanh chóng
- Cơ chế mở rộng/plugin để đăng ký mã hóa tùy chỉnh
- Liên kết ngôn ngữ (Python / Rust / v.v.) để tích hợp trong các môi trường khác nhau
- Được sử dụng để ước tính chi phí, logic cắt bớt và căn chỉnh với kỳ vọng của mô hình OpenAI
Ngôn ngữ lập trình
Python
Danh Mục
Đây là một ứng dụng cũng có thể được tải xuống từ https://sourceforge.net/projects/tiktoken.mirror/. Ứng dụng này được lưu trữ trên OnWorks để có thể chạy trực tuyến dễ dàng nhất từ một trong những Hệ điều hành miễn phí của chúng tôi.