Đây là ứng dụng Windows có tên Tokenizers, bản phát hành mới nhất có thể được tải xuống dưới dạng v0.14.1.zip. Nó có thể được chạy trực tuyến trong nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks dành cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng này có tên là Tokenizers with OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động bất kỳ trình giả lập trực tuyến OS OnWorks nào từ trang web này, nhưng trình giả lập trực tuyến Windows tốt hơn.
- 5. Từ Hệ điều hành Windows OnWorks bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng và cài đặt nó.
- 7. Tải xuống Wine từ kho phần mềm phân phối Linux của bạn. Sau khi cài đặt, bạn có thể nhấp đúp vào ứng dụng để chạy chúng với Wine. Bạn cũng có thể thử PlayOnLinux, một giao diện đẹp mắt trên Wine sẽ giúp bạn cài đặt các chương trình và trò chơi phổ biến của Windows.
Wine là một cách để chạy phần mềm Windows trên Linux, nhưng không cần Windows. Wine là một lớp tương thích Windows mã nguồn mở có thể chạy các chương trình Windows trực tiếp trên bất kỳ máy tính để bàn Linux nào. Về cơ bản, Wine đang cố gắng triển khai lại đủ Windows từ đầu để nó có thể chạy tất cả các ứng dụng Windows đó mà không thực sự cần đến Windows.
MÀN HÌNH
Ad
Mã thông báo
MÔ TẢ
Công cụ mã thông báo hiện đại nhanh chóng, được tối ưu hóa cho cả nghiên cứu và sản xuất. Tokenizers cung cấp triển khai các tokenizers được sử dụng nhiều nhất hiện nay, tập trung vào hiệu suất và tính linh hoạt. Những mã thông báo này cũng được sử dụng trong Transformers. Đào tạo từ vựng mới và mã thông báo, sử dụng mã thông báo được sử dụng nhiều nhất hiện nay. Cực kỳ nhanh (cả đào tạo và token hóa), nhờ triển khai Rust. Mất chưa đầy 20 giây để mã hóa một GB văn bản trên CPU của máy chủ. Dễ sử dụng, nhưng cũng cực kỳ linh hoạt. Được thiết kế cho cả nghiên cứu và sản xuất. Theo dõi căn chỉnh đầy đủ. Ngay cả với chuẩn hóa hủy diệt, bạn luôn có thể nhận được một phần của câu gốc tương ứng với bất kỳ mã thông báo nào. Thực hiện tất cả quá trình tiền xử lý: Cắt bớt, Đệm, thêm mã thông báo đặc biệt mà mô hình của bạn cần.
Tính năng
- Đào tạo từ vựng mới và mã thông báo, sử dụng mã thông báo được sử dụng nhiều nhất hiện nay
- Cực kỳ nhanh (cả đào tạo và token hóa), nhờ triển khai Rust. Mất chưa đầy 20 giây để mã hóa một GB văn bản trên CPU của máy chủ
- Dễ sử dụng, nhưng cũng cực kỳ linh hoạt
- Được thiết kế cho cả nghiên cứu và sản xuất
- Theo dõi căn chỉnh đầy đủ
- Cắt bớt, đệm, thêm mã thông báo đặc biệt mà mô hình của bạn cần
Ngôn ngữ lập trình
Rust
Categories
Đây là một ứng dụng cũng có thể được tìm nạp từ https://sourceforge.net/projects/tokenizers.mirror/. Nó đã được lưu trữ trong OnWorks để có thể chạy trực tuyến theo cách dễ dàng nhất từ một trong các Hệ điều hành miễn phí của chúng tôi.
