Ini adalah aplikasi Linux bernama NeMo Curator yang rilis terbarunya dapat diunduh sebagai NVIDIANeMoCurator0.9.0sourcecode.zip. Aplikasi ini dapat dijalankan secara daring di penyedia hosting gratis OnWorks untuk workstation.
Unduh dan jalankan aplikasi ini secara online bernama NeMo Curator dengan OnWorks secara gratis.
Ikuti petunjuk ini untuk menjalankan aplikasi ini:
- 1. Download aplikasi ini di PC Anda.
- 2. Masuk ke file manager kami https://www.onworks.net/myfiles.php?username=XXXXX dengan username yang anda inginkan.
- 3. Upload aplikasi ini di filemanager tersebut.
- 4. Jalankan emulator online OnWorks Linux atau Windows online atau emulator online MACOS dari situs web ini.
- 5. Dari OS Linux OnWorks yang baru saja Anda mulai, buka file manager kami https://www.onworks.net/myfiles.php?username=XXXXX dengan nama pengguna yang Anda inginkan.
- 6. Download aplikasinya, install dan jalankan.
Tangkapan layar
Ad
Kurator NeMo
DESKRIPSI
NeMo Curator adalah pustaka Python yang dirancang khusus untuk persiapan dan kurasi dataset yang cepat dan skalabel untuk kasus penggunaan model bahasa besar (LLM) seperti pra-pelatihan model dasar, pra-pelatihan adaptif domain (DAPT), penyempurnaan terawasi (SFT), dan penyempurnaan efisien parameter (PEFT). Pustaka ini mempercepat kurasi data secara signifikan dengan memanfaatkan GPU dengan Dask dan RAPIDS, sehingga menghasilkan penghematan waktu yang signifikan. Pustaka ini menyediakan antarmuka yang dapat disesuaikan dan modular, menyederhanakan perluasan alur kerja dan mempercepat konvergensi model melalui persiapan token berkualitas tinggi. Inti dari NeMo Curator adalah DocumentDataset yang berfungsi sebagai kelas dataset utama. DocumentDataset bertindak sebagai pembungkus langsung di sekitar Dask DataFrame. Pustaka Python ini menawarkan metode yang mudah digunakan untuk memperluas fungsionalitas alur kerja kurasi Anda sekaligus menghilangkan masalah skalabilitas.
Fitur
- Pengunduhan data dan ekstraksi teks
- Identifikasi dan pemisahan bahasa dengan fastText dan pycld2
- Pemformatan ulang dan pembersihan teks untuk memperbaiki kesalahan decoding unicode melalui ftfy
- Deduplikasi tingkat dokumen
- Penyaringan berbasis heuristik multibahasa
- Klasifikasi data terdistribusi
Bahasa Pemrograman
Ular sanca
KATEGORI
Ini adalah aplikasi yang juga dapat diunduh dari https://sourceforge.net/projects/nemo-curator.mirror/. Aplikasi ini dihosting di OnWorks agar dapat dijalankan secara daring dengan cara termudah dari salah satu Sistem Operasi gratis kami.
