This is the Linux app named Tiktoken whose latest release can be downloaded as 0.11.0sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Tiktoken adlı bu uygulamayı OnWorks ile ücretsiz olarak çevrimiçi indirin ve çalıştırın.
Bu uygulamayı çalıştırmak için şu talimatları izleyin:
- 1. Bu uygulamayı PC'nize indirdiniz.
- 2. Dosya yöneticimize https://www.onworks.net/myfiles.php?username=XXXXX istediğiniz kullanıcı adını girin.
- 3. Bu uygulamayı böyle bir dosya yöneticisine yükleyin.
- 4. Bu web sitesinden OnWorks Linux çevrimiçi veya Windows çevrimiçi öykünücüsünü veya MACOS çevrimiçi öykünücüsünü başlatın.
- 5. Yeni başladığınız OnWorks Linux işletim sisteminden, istediğiniz kullanıcı adıyla https://www.onworks.net/myfiles.php?username=XXXXX dosya yöneticimize gidin.
- 6. Uygulamayı indirin, kurun ve çalıştırın.
EKRAN GÖRÜNTÜLERİ:
tiktoken
AÇIKLAMA:
tiktoken, OpenAI modelleriyle kullanılmak üzere tasarlanmış, yüksek performanslı bir tokenleştirici kütüphanedir (bayt çifti kodlaması, BPE tabanlı). Metnin token kimliklerine kodlanmasını ve kod çözümünü minimum ek yük ile verimli bir şekilde gerçekleştirir. Tokenleştirme, metinleri modeller için hazırlamanın temel bir adımı olduğundan, tiktoken model bağlamlarında hız, bellek ve doğruluk (örneğin OpenAI'nin dahili tokenleştirmesiyle eşleştirme) için optimize edilmiştir. Depo, birden fazla kodlamayı destekler (örneğin "cl100k_base") ve kullanıcıların farklı model bağlamlarıyla eşleşecek şekilde kodlama adlarını değiştirmelerine olanak tanır. Ayrıca, özel kodlamaların kaydedilebilmesi için uzantı mekanizmaları da sunar. Dahili olarak, temel tokenleştirici mantığını (genellikle Rust veya verimli alt düzey kodda uygulanır), tokenleri kodlama, kod çözme ve sayma API'lerini ve kolay kullanım için katmanları Python'a (ve bazen diğer dillere) bağlamayı içerir.
Özellikler
- Metin ↔ belirteç kimliği dönüşümü için hızlı BPE tabanlı belirteçleyici
- Birden fazla kodlama şeması için destek (örneğin “cl100k_base”)
- Hızlı uzunluk kontrolü için belirteçleri verimli bir şekilde kodlamak, kodunu çözmek ve saymak için API'ler
- Özel kodlamaları kaydetmek için uzantı/eklenti mekanizması
- Farklı ortamlara entegrasyon için dil bağlamaları (Python / Rust / vb.)
- Maliyet tahmini, kesme mantığı ve OpenAI model beklentileriyle uyum için kullanılır
Programlama dili
Python
Kategoriler
Bu uygulama, https://sourceforge.net/projects/tiktoken.mirror/ adresinden de indirilebilir. Ücretsiz İşletim Sistemlerimizden birinden çevrimiçi olarak en kolay şekilde çalıştırılabilmesi için OnWorks'te barındırılmıştır.