Đây là ứng dụng Windows có tên Tiktoken, phiên bản mới nhất có thể tải xuống dưới dạng 0.11.0sourcecode.tar.gz. Ứng dụng có thể chạy trực tuyến trên nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks dành cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng có tên Tiktoken với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động bất kỳ trình giả lập trực tuyến OS OnWorks nào từ trang web này, nhưng trình giả lập trực tuyến Windows tốt hơn.
- 5. Từ Hệ điều hành Windows OnWorks bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng và cài đặt nó.
- 7. Tải xuống Wine từ kho phần mềm phân phối Linux của bạn. Sau khi cài đặt, bạn có thể nhấp đúp vào ứng dụng để chạy chúng với Wine. Bạn cũng có thể thử PlayOnLinux, một giao diện đẹp mắt trên Wine sẽ giúp bạn cài đặt các chương trình và trò chơi phổ biến của Windows.
Wine là một cách để chạy phần mềm Windows trên Linux, nhưng không cần Windows. Wine là một lớp tương thích Windows mã nguồn mở có thể chạy các chương trình Windows trực tiếp trên bất kỳ máy tính để bàn Linux nào. Về cơ bản, Wine đang cố gắng triển khai lại đủ Windows từ đầu để nó có thể chạy tất cả các ứng dụng Windows đó mà không thực sự cần đến Windows.
MÀN HÌNH:
tiktoken
SỰ MIÊU TẢ:
tiktoken là một thư viện tokenizer hiệu suất cao (dựa trên mã hóa cặp byte, BPE) được thiết kế để sử dụng với các mô hình của OpenAI. Nó xử lý mã hóa và giải mã văn bản thành ID token một cách hiệu quả, với chi phí tối thiểu. Vì tokenization là một bước cơ bản trong việc chuẩn bị văn bản cho các mô hình, tiktoken được tối ưu hóa về tốc độ, bộ nhớ và tính chính xác trong các ngữ cảnh mô hình (ví dụ: khớp với tokenization nội bộ của OpenAI). Kho lưu trữ hỗ trợ nhiều loại mã hóa (ví dụ: "cl100k_base") và cho phép người dùng chuyển đổi tên mã hóa để khớp với các ngữ cảnh mô hình khác nhau. Nó cũng cung cấp các cơ chế mở rộng để có thể đăng ký các mã hóa tùy chỉnh. Về mặt nội bộ, nó bao gồm logic tokenizer cốt lõi (thường được triển khai trong Rust hoặc mã cấp thấp hiệu quả hơn), các API để mã hóa, giải mã và đếm token, và các lớp liên kết với Python (và đôi khi là các ngôn ngữ khác) để dễ sử dụng.
Tính năng
- Trình phân tích mã thông báo nhanh dựa trên BPE để chuyển đổi ID văn bản ↔ mã thông báo
- Hỗ trợ nhiều lược đồ mã hóa (ví dụ: “cl100k_base”)
- API để mã hóa, giải mã và đếm mã thông báo hiệu quả để kiểm soát độ dài nhanh chóng
- Cơ chế mở rộng/plugin để đăng ký mã hóa tùy chỉnh
- Liên kết ngôn ngữ (Python / Rust / v.v.) để tích hợp trong các môi trường khác nhau
- Được sử dụng để ước tính chi phí, logic cắt bớt và căn chỉnh với kỳ vọng của mô hình OpenAI
Ngôn ngữ lập trình
Python
Danh Mục
Đây là một ứng dụng cũng có thể được tải xuống từ https://sourceforge.net/projects/tiktoken.mirror/. Ứng dụng này được lưu trữ trên OnWorks để có thể chạy trực tuyến dễ dàng nhất từ một trong những Hệ điều hành miễn phí của chúng tôi.