ids2ngram - Dalam Talian di Awan

JADUAL:

NAMA

ids2ngram - jana fail data n-gram daripada fail id

SINOPSIS

ids2ngram [pilihan]... id_fail...

DESCRIPTION

ids2ngram menjana fail idngram, yang merupakan tatasusunan [id1,..,idN,freq] yang diisih, daripada binari
fail strim id. Di sini, fail strim id sentiasa dihasilkan oleh mmseg or slmseg.
Pada asasnya, ia mendapati semua kemunculan kata-n tupel (iaitu tuple bagi (id1,..,idN)), dan
susun tupel ini mengikut susunan leksikografi id membentuk tupel, kemudian tulis
mereka ke fail output yang ditentukan.

INPUT

Fail input dibentangkan sebagai strim id binari, yang kelihatan seperti:
[id0,...,idX]

PILIHAN

Semua pilihan berikut adalah wajib.

-n,--NMax N
Menjana N-gram keputusan. ids2ngram hanya menyokong uni-gram, bi-gram dan trigram,
jadi sebarang nombor yang tidak berada dalam julat 1..3 adalah tidak sah.

-s,--tukar swap-fail
Tentukan fail perantaraan sementara.

-o, --keluar fail keluaran
Tentukan fail idngram hasil, cth tatasusunan [id1, ..., idN, freq]

-p, --para N
Nyatakan item n-gram maksimum bagi setiap perenggan. ids2ngram menulis ke fail sementara
berdasarkan setiap perenggan. Setiap kali ia menulis perenggan, ia membebaskan
ingatan sepadan yang diperuntukkan untuknya. Apabila sistem komputer anda membenarkan, lebih tinggi N
adalah dicadangkan. Ini boleh mempercepatkan kelajuan pemprosesan kerana kurang I/O.

CONTOH

Contoh berikut akan menggunakan tiga input fail idstream idsfile[1,2,3] untuk menjana fail
fail idngram all.id3gram. Setiap para (saiz peta dalaman atau saiz cincang) ialah 1024000,
menggunakan fail swap untuk hasil temp. Semua hasil temp para akhirnya akan digabungkan untuk mendapat
keputusan akhir.

ids2ngram -n 3 -s /tmp/swap -o semua.id3gram -p 1024000 idfile1 idfile2 idfile3

Gunakan ids2ngram dalam talian menggunakan perkhidmatan onworks.net