Ini adalah aplikasi Windows bernama Tiktoken yang rilis terbarunya dapat diunduh sebagai 0.11.0sourcecode.tar.gz. Aplikasi ini dapat dijalankan secara daring di penyedia hosting gratis OnWorks untuk workstation.
Unduh dan jalankan aplikasi ini secara online bernama Tiktoken dengan OnWorks secara gratis.
Ikuti petunjuk ini untuk menjalankan aplikasi ini:
- 1. Download aplikasi ini di PC Anda.
- 2. Masuk ke file manager kami https://www.onworks.net/myfiles.php?username=XXXXX dengan username yang anda inginkan.
- 3. Upload aplikasi ini di filemanager tersebut.
- 4. Mulai emulator online OS OnWorks apa pun dari situs web ini, tetapi emulator online Windows yang lebih baik.
- 5. Dari OS Windows OnWorks yang baru saja Anda mulai, buka file manager kami https://www.onworks.net/myfiles.php?username=XXXXX dengan nama pengguna yang Anda inginkan.
- 6. Unduh aplikasi dan instal.
- 7. Unduh Wine dari repositori perangkat lunak distribusi Linux Anda. Setelah terinstal, Anda kemudian dapat mengklik dua kali aplikasi untuk menjalankannya dengan Wine. Anda juga dapat mencoba PlayOnLinux, antarmuka mewah di atas Wine yang akan membantu Anda menginstal program dan game Windows populer.
Wine adalah cara untuk menjalankan perangkat lunak Windows di Linux, tetapi tidak memerlukan Windows. Wine adalah lapisan kompatibilitas Windows sumber terbuka yang dapat menjalankan program Windows secara langsung di desktop Linux apa pun. Pada dasarnya, Wine mencoba untuk mengimplementasikan kembali Windows dari awal sehingga dapat menjalankan semua aplikasi Windows tersebut tanpa benar-benar membutuhkan Windows.
Tangkapan layar
Ad
tiktoken
DESKRIPSI
tiktoken adalah pustaka tokenizer berkinerja tinggi (berdasarkan pengodean byte-pair, BPE) yang dirancang untuk digunakan dengan model OpenAI. Pustaka ini menangani pengodean dan dekode teks ke ID token secara efisien, dengan overhead minimal. Karena tokenisasi merupakan langkah fundamental dalam mempersiapkan teks untuk model, tiktoken dioptimalkan untuk kecepatan, memori, dan ketepatan dalam konteks model (misalnya, pencocokan tokenisasi internal OpenAI). Repositori ini mendukung beberapa pengodean (misalnya, "cl100k_base") dan memungkinkan pengguna mengganti nama pengodean agar sesuai dengan konteks model yang berbeda. Repositori ini juga menawarkan mekanisme ekstensi sehingga pengodean kustom dapat didaftarkan. Secara internal, pustaka ini mencakup logika tokenizer inti (sering diimplementasikan dalam Rust atau kode tingkat rendah yang efisien), API untuk pengodean, dekode, dan penghitungan token, serta lapisan pengikatan ke Python (dan terkadang bahasa pemrograman lain) untuk kemudahan penggunaan.
Fitur
- Tokenizer berbasis BPE cepat untuk konversi teks ↔ ID token
- Dukungan untuk beberapa skema pengkodean (misalnya “cl100k_base”)
- API untuk mengodekan, mendekode, dan menghitung token secara efisien untuk kontrol panjang prompt
- Mekanisme ekstensi / plugin untuk mendaftarkan penyandian khusus
- Pengikatan bahasa (Python / Rust / dll.) untuk integrasi di lingkungan yang berbeda
- Digunakan untuk estimasi biaya, logika pemotongan, dan penyelarasan dengan ekspektasi model OpenAI
Bahasa Pemrograman
Ular sanca
KATEGORI
Ini adalah aplikasi yang juga dapat diunduh dari https://sourceforge.net/projects/tiktoken.mirror/. Aplikasi ini dihosting di OnWorks agar dapat dijalankan secara daring dengan cara termudah dari salah satu Sistem Operasi gratis kami.
