Dit is de Windows-app genaamd Tokenizers waarvan de nieuwste release kan worden gedownload als v0.14.1.zip. Het kan online worden uitgevoerd in de gratis hostingprovider OnWorks voor werkstations.
Download en voer deze app met de naam Tokenizers gratis online uit met OnWorks.
Volg deze instructies om deze app uit te voeren:
- 1. Download deze applicatie op uw pc.
- 2. Voer in onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX in met de gebruikersnaam die u wilt.
- 3. Upload deze applicatie in zo'n bestandsbeheerder.
- 4. Start een OS OnWorks online emulator vanaf deze website, maar een betere Windows online emulator.
- 5. Ga vanuit het OnWorks Windows-besturingssysteem dat u zojuist hebt gestart naar onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX met de gewenste gebruikersnaam.
- 6. Download de applicatie en installeer deze.
- 7. Download Wine van de softwarebronnen voor Linux-distributies. Eenmaal geïnstalleerd, kunt u vervolgens dubbelklikken op de app om ze met Wine uit te voeren. Je kunt ook PlayOnLinux proberen, een mooie interface via Wine waarmee je populaire Windows-programma's en -games kunt installeren.
Wine is een manier om Windows-software op Linux uit te voeren, maar zonder dat Windows vereist is. Wine is een open-source Windows-compatibiliteitslaag die Windows-programma's rechtstreeks op elke Linux-desktop kan uitvoeren. In wezen probeert Wine genoeg van Windows opnieuw te implementeren, zodat het al die Windows-applicaties kan draaien zonder Windows echt nodig te hebben.
SCREENSHOTS
Ad
Tokenizers
PRODUCTBESCHRIJVING
Snelle State-of-the-art tokenizers, geoptimaliseerd voor zowel onderzoek als productie. Tokenizers biedt een implementatie van de meest gebruikte tokenizers van dit moment, met een focus op prestaties en veelzijdigheid. Deze tokenizers worden ook gebruikt in Transformers. Train nieuwe vocabulaires en tokenize, met behulp van de meest gebruikte tokenizers van dit moment. Extreem snel (zowel training als tokenisatie), dankzij de Rust-implementatie. Het duurt minder dan 20 seconden om een GB aan tekst op de CPU van een server te tokeniseren. Makkelijk in gebruik, maar ook enorm veelzijdig. Ontworpen voor zowel onderzoek als productie. Volledige uitlijning volgen. Zelfs met destructieve normalisatie is het altijd mogelijk om het deel van de oorspronkelijke zin te krijgen dat overeenkomt met een token. Doet alle voorbewerkingen: afkappen, opvullen, de speciale tokens toevoegen die uw model nodig heeft.
Voordelen
- Train nieuwe vocabulaires en tokenize, met behulp van de meest gebruikte tokenizers van dit moment
- Extreem snel (zowel training als tokenisatie), dankzij de Rust-implementatie. Het duurt minder dan 20 seconden om een GB aan tekst op de CPU van een server te tokeniseren
- Makkelijk in gebruik, maar ook enorm veelzijdig
- Ontworpen voor zowel onderzoek als productie
- Volledige uitlijning volgen
- Truncatie, opvulling, voeg de speciale tokens toe die uw model nodig heeft
Programmeertaal
Roest
Categorieën
Dit is een applicatie die ook kan worden opgehaald van https://sourceforge.net/projects/tokenizers.mirror/. Het is gehost in OnWorks, zodat het op de gemakkelijkste manier online kan worden uitgevoerd vanaf een van onze gratis besturingssystemen.
