This is the Linux app named Tiktoken whose latest release can be downloaded as 0.11.0sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Descarcă și rulează online această aplicație numită Tiktoken cu OnWorks gratuit.
Urmați aceste instrucțiuni pentru a rula această aplicație:
- 1. Ați descărcat această aplicație pe computer.
- 2. Introduceți în managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator pe care îl doriți.
- 3. Încărcați această aplicație într-un astfel de manager de fișiere.
- 4. Porniți emulatorul online OnWorks Linux sau Windows online sau emulatorul online MACOS de pe acest site web.
- 5. Din sistemul de operare OnWorks Linux pe care tocmai l-ați pornit, accesați managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator dorit.
- 6. Descărcați aplicația, instalați-o și rulați-o.
CAPTURĂ DE ECRAN:
tiktoken
DESCRIERE:
tiktoken este o bibliotecă de tokenizer de înaltă performanță (bazată pe codificarea perechilor de octeți, BPE) concepută pentru a fi utilizată cu modelele OpenAI. Aceasta gestionează codificarea și decodificarea textului în ID-uri de tokenuri eficient, cu costuri minime. Deoarece tokenizarea este un pas fundamental în pregătirea textului pentru modele, tiktoken este optimizat pentru viteză, memorie și corectitudine în contextele modelului (de exemplu, potrivirea cu tokenizarea internă OpenAI). Depozitul acceptă codificări multiple (de exemplu, „cl100k_base”) și permite utilizatorilor să schimbe numele codificărilor pentru a se potrivi diferitelor contexte ale modelului. De asemenea, oferă mecanisme de extensie, astfel încât să poată fi înregistrate codificări personalizate. Intern, include logica de bază a tokenizerului (adesea implementată în Rust sau cod eficient de nivel inferior), API-uri pentru codificarea, decodificarea și numărarea tokenurilor și legarea straturilor la Python (și uneori la alte limbaje) pentru o utilizare ușoară.
Categorii
- Tokenizer rapid bazat pe BPE pentru conversia text ↔ ID-ul tokenului
- Suport pentru mai multe scheme de codare (de exemplu, „cl100k_base”)
- API-uri pentru codificarea, decodificarea și numărarea eficientă a token-urilor pentru controlul prompt al lungimii
- Mecanism de extensie/plugin pentru înregistrarea codificărilor personalizate
- Legături de limbaj (Python / Rust / etc.) pentru integrare în diferite medii
- Folosit pentru estimarea costurilor, logica de trunchiere și alinierea cu așteptările modelului OpenAI
Limbaj de programare
Piton
Categorii
Aceasta este o aplicație care poate fi descărcată și de la https://sourceforge.net/projects/tiktoken.mirror/. A fost găzduită în OnWorks pentru a putea fi rulată online în cel mai simplu mod de pe unul dintre sistemele noastre de operare gratuite.