This is the Linux app named Tiktoken whose latest release can be downloaded as 0.11.0sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
הורד והפעל אונליין את האפליקציה הזו בשם Tiktoken עם OnWorks בחינם.
בצע את ההוראות הבאות כדי להפעיל את האפליקציה הזו:
- 1. הורד את היישום הזה למחשב שלך.
- 2. הזן במנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש שאתה רוצה.
- 3. העלה את היישום הזה במנהל קבצים כזה.
- 4. הפעל את האמולטור המקוון של OnWorks Linux או Windows מקוון או אמולטור מקוון של MACOS מאתר זה.
- 5. ממערכת ההפעלה OnWorks Linux שזה עתה התחלת, עבור אל מנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש הרצוי.
- 6. הורד את האפליקציה, התקן אותה והפעל אותה.
צילומי מסך:
טיקטוקן
תיאור:
טיקטוקן היא ספריית טוקנייזר בעלת ביצועים גבוהים (מבוססת על קידוד זוגי בייט, BPE) שנועדה לשימוש עם מודלים של OpenAI. היא מטפלת בקידוד ופענוח טקסט למזהי טוקן ביעילות, עם תקורה מינימלית. מכיוון שטוקניזציה היא שלב בסיסי בהכנת טקסט למודלים, טיקטוקן ממוטבת למהירות, זיכרון ותקינות בהקשרי מודל (למשל, התאמת טוקניזציה פנימית של OpenAI). המאגר תומך בקידודים מרובים (למשל "cl100k_base") ומאפשר למשתמשים להחליף שמות קידוד כדי להתאים להקשרים שונים של מודלים. הוא מציע גם מנגנוני הרחבה כך שניתן יהיה לרשום קידודים מותאמים אישית. באופן פנימי, הוא כולל את לוגיקת הליבה של טוקנייזר (המיושמת לעתים קרובות ב-Rust או בקוד יעיל ברמה נמוכה יותר), ממשקי API לקידוד, פענוח וספירת טוקנים, ושכבות קישור לפייתון (ולפעמים בשפות אחרות) לשימוש קל.
תכונות
- טוקניזטור מהיר מבוסס BPE להמרת טקסט ↔ מזהה אסימון
- תמיכה במספר סכמות קידוד (למשל "cl100k_base")
- ממשקי API לקידוד, פענוח וספירה יעילים של טוקנים לשליטה מהירה באורך
- מנגנון הרחבה/תוסף לרישום קידודים מותאמים אישית
- קישורי שפה (Python / Rust / וכו') לאינטגרציה בסביבות שונות
- משמש להערכת עלויות, לוגיקת קיצוץ והתאמה לציפיות מודל OpenAI
שפת תכנות
פיתון
כל הקטגוריות
זוהי אפליקציה שניתן להוריד גם מאתר https://sourceforge.net/projects/tiktoken.mirror/. היא אוחסנה ב-OnWorks על מנת שניתן יהיה להפעיל אותה באופן מקוון בצורה הקלה ביותר מאחת ממערכות ההפעלה החינמיות שלנו.