To jest aplikacja Linux o nazwie Tokenizers, której najnowszą wersję można pobrać jako v0.22.1sourcecode.tar.gz. Można ją uruchomić online w darmowym dostawcy hostingu OnWorks dla stacji roboczych.
Pobierz i uruchom online tę aplikację o nazwie Tokenizers with OnWorks za darmo.
Postępuj zgodnie z tymi instrukcjami, aby uruchomić tę aplikację:
- 1. Pobrałem tę aplikację na swój komputer.
- 2. Wpisz w naszym menedżerze plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 3. Prześlij tę aplikację w takim menedżerze plików.
- 4. Uruchom emulator online OnWorks Linux lub Windows online lub emulator online MACOS z tej witryny.
- 5. W systemie operacyjnym OnWorks Linux, który właśnie uruchomiłeś, przejdź do naszego menedżera plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 6. Pobierz aplikację, zainstaluj ją i uruchom.
ZRZUTY EKRANU
Ad
Tokenizatory
OPIS
Szybkie Najnowocześniejsze tokenizery, zoptymalizowane zarówno pod kątem badań, jak i produkcji. Tokenizers zapewnia implementację najczęściej używanych obecnie tokenizerów, z naciskiem na wydajność i wszechstronność. Te tokenizery są również używane w Transformersach. Trenuj nowe słownictwo i tokenizuj, korzystając z najczęściej używanych obecnie tokenizatorów. Niezwykle szybki (zarówno trening, jak i tokenizacja), dzięki wdrożeniu Rust. Tokenizacja GB tekstu na procesorze serwera zajmuje mniej niż 20 sekund. Łatwy w użyciu, ale także niezwykle wszechstronny. Zaprojektowany zarówno do celów badawczych, jak i produkcyjnych. Pełne śledzenie wyrównania. Nawet przy destrukcyjnej normalizacji zawsze można uzyskać część oryginalnego zdania, która odpowiada dowolnemu tokenowi. Wykonuje wszystkie wstępne przetwarzanie: obcinanie, dopełnianie, dodaje specjalne tokeny, których potrzebuje Twój model.
Funkcjonalności
- Trenuj nowe słownictwo i tokenizuj, korzystając z najczęściej używanych obecnie tokenizatorów
- Niezwykle szybki (zarówno trening, jak i tokenizacja), dzięki wdrożeniu Rust. Tokenizacja GB tekstu na procesorze serwera zajmuje mniej niż 20 sekund
- Łatwy w użyciu, ale także niezwykle wszechstronny
- Zaprojektowany zarówno do celów badawczych, jak i produkcyjnych
- Pełne śledzenie wyrównania
- Obcinanie, dopełnienie, dodaj specjalne tokeny, których potrzebuje Twój model
Język programowania
Rdza
Kategorie
Jest to aplikacja, którą można również pobrać z https://sourceforge.net/projects/tokenizers.mirror/. Został umieszczony w OnWorks, aby można go było uruchomić online w najprostszy sposób z jednego z naszych bezpłatnych systemów operacyjnych.
