Dies ist die Windows-App namens Tokenizers, deren neueste Version als v0.14.1.zip heruntergeladen werden kann. Es kann online beim kostenlosen Hosting-Anbieter OnWorks für Workstations ausgeführt werden.
Laden Sie diese App namens Tokenizers mit OnWorks kostenlos herunter und führen Sie sie online aus.
Befolgen Sie diese Anweisungen, um diese App auszuführen:
- 1. Diese Anwendung auf Ihren PC heruntergeladen.
- 2. Geben Sie in unserem Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX den gewünschten Benutzernamen ein.
- 3. Laden Sie diese Anwendung in einem solchen Dateimanager hoch.
- 4. Starten Sie einen beliebigen OS OnWorks-Online-Emulator von dieser Website, aber einen besseren Windows-Online-Emulator.
- 5. Rufen Sie vom gerade gestarteten OnWorks Windows-Betriebssystem unseren Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX mit dem gewünschten Benutzernamen auf.
- 6. Laden Sie die Anwendung herunter und installieren Sie sie.
- 7. Laden Sie Wine aus den Software-Repositorys Ihrer Linux-Distributionen herunter. Nach der Installation können Sie dann auf die App doppelklicken, um sie mit Wine auszuführen. Sie können auch PlayOnLinux ausprobieren, eine schicke Schnittstelle über Wine, die Ihnen bei der Installation beliebter Windows-Programme und -Spiele hilft.
Wine ist eine Möglichkeit, Windows-Software unter Linux auszuführen, jedoch ohne Windows. Wine ist eine Open-Source-Windows-Kompatibilitätsschicht, die Windows-Programme direkt auf jedem Linux-Desktop ausführen kann. Im Wesentlichen versucht Wine, genügend Windows von Grund auf neu zu implementieren, damit alle diese Windows-Anwendungen ausgeführt werden können, ohne dass Windows tatsächlich benötigt wird.
SCREENSHOTS
Ad
Tokenizer
BESCHREIBUNG
Schnell Hochmoderne Tokenisierer, optimiert für Forschung und Produktion. Tokenizers bietet eine Implementierung der heute am häufigsten verwendeten Tokenizer mit Schwerpunkt auf Leistung und Vielseitigkeit. Diese Tokenizer werden auch in Transformers verwendet. Trainieren Sie neue Vokabeln und tokenisieren Sie sie mit den heute am häufigsten verwendeten Tokenizern. Extrem schnell (sowohl Training als auch Tokenisierung) dank der Rust-Implementierung. Die Tokenisierung eines GB Text auf der CPU eines Servers dauert weniger als 20 Sekunden. Einfach zu bedienen, aber auch äußerst vielseitig. Entwickelt für Forschung und Produktion. Vollständige Ausrichtungsverfolgung. Selbst mit destruktiver Normalisierung ist es immer möglich, den Teil des Originalsatzes zu erhalten, der einem beliebigen Token entspricht. Führt die gesamte Vorverarbeitung durch: Abschneiden, Auffüllen und Hinzufügen der speziellen Token, die Ihr Modell benötigt.
Eigenschaften
- Trainieren Sie neue Vokabeln und tokenisieren Sie sie mit den heute am häufigsten verwendeten Tokenizern
- Extrem schnell (sowohl Training als auch Tokenisierung) dank der Rust-Implementierung. Die Tokenisierung eines GB Text auf der CPU eines Servers dauert weniger als 20 Sekunden
- Einfach zu bedienen, aber auch äußerst vielseitig
- Entwickelt für Forschung und Produktion
- Vollständige Ausrichtungsverfolgung
- Truncation, Padding, fügen Sie die speziellen Token hinzu, die Ihr Modell benötigt
Programmiersprache
Rust
Kategorien
Dies ist eine Anwendung, die auch von https://sourceforge.net/projects/tokenizers.mirror/ abgerufen werden kann. Es wurde in OnWorks gehostet, um es auf einfachste Weise online über eines unserer kostenlosen Betriebssysteme ausführen zu können.
