To aplikacja dla systemu Windows o nazwie NeMo Curator, której najnowszą wersję można pobrać jako NVIDIANeMoCurator0.9.0sourcecode.zip. Można ją uruchomić online w darmowym hostingu OnWorks dla stacji roboczych.
Pobierz i uruchom bezpłatnie aplikację NeMo Curator z OnWorks.
Postępuj zgodnie z tymi instrukcjami, aby uruchomić tę aplikację:
- 1. Pobrałem tę aplikację na swój komputer.
- 2. Wpisz w naszym menedżerze plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 3. Prześlij tę aplikację w takim menedżerze plików.
- 4. Uruchom dowolny emulator online systemu operacyjnego OnWorks z tej witryny, ale lepszy emulator online systemu Windows.
- 5. W systemie operacyjnym OnWorks Windows, który właśnie uruchomiłeś, przejdź do naszego menedżera plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 6. Pobierz aplikację i zainstaluj ją.
- 7. Pobierz Wine z repozytoriów oprogramowania dystrybucji Linuksa. Po zainstalowaniu możesz dwukrotnie kliknąć aplikację, aby uruchomić ją za pomocą Wine. Możesz także wypróbować PlayOnLinux, fantazyjny interfejs w Wine, który pomoże Ci zainstalować popularne programy i gry Windows.
Wine to sposób na uruchamianie oprogramowania Windows w systemie Linux, ale bez systemu Windows. Wine to warstwa kompatybilności z systemem Windows typu open source, która może uruchamiać programy systemu Windows bezpośrednio na dowolnym pulpicie systemu Linux. Zasadniczo Wine próbuje ponownie zaimplementować system Windows od podstaw, aby mógł uruchamiać wszystkie te aplikacje Windows bez faktycznego korzystania z systemu Windows.
ZRZUTY EKRANU
Ad
Kurator NeMo
OPIS
NeMo Curator to biblioteka Pythona zaprojektowana specjalnie do szybkiego i skalowalnego przygotowywania i kuratorowania zbiorów danych dla przypadków użycia modeli dużego języka (LLM), takich jak wstępne trenowanie modelu podstawowego, wstępne trenowanie z adaptacją domenową (DAPT), dostrajanie nadzorowane (SFT) i dostrajanie z optymalizacją parametrów (PEFT). Znacznie przyspiesza kuratorowanie danych poprzez wykorzystanie procesorów GPU z Dask i RAPIDS, co przekłada się na znaczną oszczędność czasu. Biblioteka oferuje konfigurowalny i modułowy interfejs, upraszczając rozbudowę potoku i przyspieszając konwergencję modeli poprzez przygotowanie wysokiej jakości tokenów. Sercem NeMo Curator jest DocumentDataset, który pełni funkcję głównej klasy zbioru danych. Działa on jako prosta powłoka dla obiektu Dask DataFrame. Biblioteka Pythona oferuje łatwe w użyciu metody rozszerzania funkcjonalności potoku kuratorowania, eliminując jednocześnie problemy ze skalowalnością.
Funkcjonalności
- Pobieranie danych i ekstrakcja tekstu
- Identyfikacja i separacja języków za pomocą fastText i pycld2
- Ponowne formatowanie i czyszczenie tekstu w celu naprawy błędów dekodowania Unicode za pomocą ftfy
- Deduplikacja na poziomie dokumentów
- Wielojęzyczne filtrowanie oparte na heurystyce
- Klasyfikacja danych rozproszonych
Język programowania
Python
Kategorie
Tę aplikację można również pobrać ze strony https://sourceforge.net/projects/nemo-curator.mirror/. Została ona umieszczona w OnWorks, aby można ją było uruchomić online w najłatwiejszy sposób z jednego z naszych darmowych systemów operacyjnych.
