This is the Linux app named Tiktoken whose latest release can be downloaded as 0.11.0sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Muat turun dan jalankan dalam talian apl bernama Tiktoken ini dengan OnWorks secara percuma.
Ikut arahan ini untuk menjalankan apl ini:
- 1. Memuat turun aplikasi ini dalam PC anda.
- 2. Masukkan dalam pengurus fail kami https://www.onworks.net/myfiles.php?username=XXXXX dengan nama pengguna yang anda mahukan.
- 3. Muat naik aplikasi ini dalam pengurus filem tersebut.
- 4. Mulakan OnWorks Linux dalam talian atau emulator dalam talian Windows atau emulator dalam talian MACOS dari tapak web ini.
- 5. Daripada OS Linux OnWorks yang baru anda mulakan, pergi ke pengurus fail kami https://www.onworks.net/myfiles.php?username=XXXX dengan nama pengguna yang anda mahukan.
- 6. Muat turun aplikasi, pasang dan jalankan.
SKRIN
Ad
tiktoken
DESCRIPTION
tiktoken ialah pustaka tokenizer berprestasi tinggi (berdasarkan pengekodan pasangan bait, BPE) yang direka untuk digunakan dengan model OpenAI. Ia mengendalikan pengekodan dan penyahkodan teks kepada ID token dengan cekap, dengan overhed minimum. Oleh kerana tokenisasi ialah langkah asas dalam menyediakan teks untuk model, tiktoken dioptimumkan untuk kelajuan, ingatan dan ketepatan dalam konteks model (cth padanan tokenisasi dalaman OpenAI). Repo menyokong berbilang pengekodan (cth. “cl100k_base”) dan membenarkan pengguna menukar nama pengekodan untuk memadankan konteks model yang berbeza. Ia juga menawarkan mekanisme sambungan supaya pengekodan tersuai boleh didaftarkan. Secara dalaman, ia termasuk logik tokenizer teras (sering dilaksanakan dalam Rust atau kod peringkat rendah yang cekap), API untuk pengekodan, penyahkodan dan pengiraan token, dan mengikat lapisan kepada Python (dan kadangkala bahasa lain) untuk kegunaan mudah.
Ciri-ciri
- Tokenizer berasaskan BPE pantas untuk penukaran ID token teks ↔
- Sokongan untuk berbilang skim pengekodan (cth “cl100k_base”)
- API untuk mengekod, menyahkod dan mengira token dengan cekap untuk kawalan panjang segera
- Mekanisme sambungan / pemalam untuk mendaftar pengekodan tersuai
- Ikatan bahasa (Python / Rust / dll.) untuk penyepaduan dalam persekitaran yang berbeza
- Digunakan untuk anggaran kos, logik pemangkasan dan penjajaran dengan jangkaan model OpenAI
Bahasa Pengaturcaraan
Python
Kategori
Ini adalah aplikasi yang juga boleh diambil dari https://sourceforge.net/projects/tiktoken.mirror/. Ia telah dihoskan dalam OnWorks untuk dijalankan dalam talian dengan cara yang paling mudah daripada salah satu Sistem Operasi percuma kami.
