Dies ist die Windows-App namens Tiktoken, deren neueste Version als 0.11.0sourcecode.tar.gz heruntergeladen werden kann. Sie kann online beim kostenlosen Hosting-Anbieter OnWorks für Workstations ausgeführt werden.
Laden Sie diese App namens Tiktoken mit OnWorks kostenlos herunter und führen Sie sie online aus.
Befolgen Sie diese Anweisungen, um diese App auszuführen:
- 1. Diese Anwendung auf Ihren PC heruntergeladen.
- 2. Geben Sie in unserem Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX den gewünschten Benutzernamen ein.
- 3. Laden Sie diese Anwendung in einem solchen Dateimanager hoch.
- 4. Starten Sie einen beliebigen OS OnWorks-Online-Emulator von dieser Website, aber einen besseren Windows-Online-Emulator.
- 5. Rufen Sie vom gerade gestarteten OnWorks Windows-Betriebssystem unseren Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX mit dem gewünschten Benutzernamen auf.
- 6. Laden Sie die Anwendung herunter und installieren Sie sie.
- 7. Laden Sie Wine aus den Software-Repositorys Ihrer Linux-Distributionen herunter. Nach der Installation können Sie dann auf die App doppelklicken, um sie mit Wine auszuführen. Sie können auch PlayOnLinux ausprobieren, eine schicke Schnittstelle über Wine, die Ihnen bei der Installation beliebter Windows-Programme und -Spiele hilft.
Wine ist eine Möglichkeit, Windows-Software unter Linux auszuführen, jedoch ohne Windows. Wine ist eine Open-Source-Windows-Kompatibilitätsschicht, die Windows-Programme direkt auf jedem Linux-Desktop ausführen kann. Im Wesentlichen versucht Wine, genügend Windows von Grund auf neu zu implementieren, damit alle diese Windows-Anwendungen ausgeführt werden können, ohne dass Windows tatsächlich benötigt wird.
SCREENSHOTS
Ad
Tiktoken
BESCHREIBUNG
tiktoken ist eine leistungsstarke Tokenizer-Bibliothek (basierend auf Byte-Pair-Encoding, BPE), die für die Verwendung mit OpenAI-Modellen entwickelt wurde. Sie verarbeitet das Kodieren und Dekodieren von Text in Token-IDs effizient und mit minimalem Overhead. Da die Tokenisierung ein grundlegender Schritt bei der Vorbereitung von Text für Modelle ist, ist tiktoken auf Geschwindigkeit, Speicher und Korrektheit in Modellkontexten optimiert (z. B. passend zur internen Tokenisierung von OpenAI). Das Repo unterstützt mehrere Kodierungen (z. B. „cl100k_base“) und ermöglicht Benutzern das Wechseln der Kodierungsnamen, um sie an verschiedene Modellkontexte anzupassen. Es bietet auch Erweiterungsmechanismen, sodass benutzerdefinierte Kodierungen registriert werden können. Intern enthält es die Kernlogik des Tokenizers (oft implementiert in Rust oder effizientem Code auf niedrigerer Ebene), APIs zum Kodieren, Dekodieren und Zählen von Token sowie Bindungsebenen an Python (und manchmal andere Sprachen) für eine einfache Verwendung.
Eigenschaften
- Schneller BPE-basierter Tokenizer für die Konvertierung von Text ↔ Token-ID
- Unterstützung für mehrere Kodierungsschemata (z. B. „cl100k_base“)
- APIs zum effizienten Kodieren, Dekodieren und Zählen von Token für eine schnelle Längenkontrolle
- Erweiterungs-/Plugin-Mechanismus zum Registrieren benutzerdefinierter Kodierungen
- Sprachbindungen (Python / Rust / etc.) zur Integration in verschiedene Umgebungen
- Wird für Kostenschätzungen, Kürzungslogik und die Ausrichtung an den Erwartungen des OpenAI-Modells verwendet
Programmiersprache
Python
Kategorien
Diese Anwendung kann auch von https://sourceforge.net/projects/tiktoken.mirror/ heruntergeladen werden. Sie wurde in OnWorks gehostet, um sie auf einfachste Weise online von einem unserer kostenlosen Betriebssysteme aus ausführen zu können.
