ids2ngram - Online sa Cloud

PROGRAMA:

NAME

ids2ngram - bumuo ng n-gram data file mula sa ids file

SINOPSIS

ids2ngram [opsyon] ... id_file...

DESCRIPTION

ids2ngram bumubuo ng idngram file, na isang pinagsunod-sunod na [id1,..,idN,freq] array, mula sa binary
id stream file. Dito, ang mga file ng id stream ay palaging binubuo ng mmseg or slmseg.
Karaniwan, hinahanap nito ang lahat ng paglitaw ng mga n-salitang tuple (ibig sabihin, ang tuple ng (id1,..,idN)), at
pagbukud-bukurin ang mga tuple na ito ayon sa pagkakasunud-sunod ng leksikograpiko ng mga id na bumubuo sa mga tuple, pagkatapos ay isulat
ang mga ito sa tinukoy na output file.

INPUT

Ang input file ay ipinakita bilang isang binary id stream, na mukhang:
[id0,...,idX]

Opsyon

Ang lahat ng mga sumusunod na opsyon ay sapilitan.

-n,--NMax N
Bumubuo N- resulta ng gramo. ids2ngram Sinusuportahan lamang ang uni-gram, bi-gram, at trigram,
kaya ang anumang numero na wala sa hanay ng 1..3 ay hindi wasto.

-s,--magpalit swap-file
Tukuyin ang pansamantalang intermediate na file.

-o, --labas output-file
Tukuyin ang resultang idngram file, hal. ang array ng [id1, ..., idN, freq]

-p, --para N
Tukuyin ang maximum na n-gram na mga item sa bawat talata. ids2ngram nagsusulat sa pansamantalang file
batay sa bawat talata. Sa tuwing magsusulat ito ng isang talata, pinapalaya nito ang
kaukulang memorya na inilaan para dito. Kapag pinahihintulutan ng iyong computer system, mas mataas N
ay iminungkahi. Maaari nitong mapabilis ang bilis ng pagproseso dahil sa mas kaunting I/O.

Halimbawa

Ang sumusunod na halimbawa ay gagamit ng tatlong input idstream file idsfile[1,2,3] upang makabuo ng
idngram file all.id3gram. Ang bawat para (panloob na laki ng mapa o laki ng hash) ay magiging 1024000,
gamit ang swap file para sa temp na resulta. Ang lahat ng temp para sa resulta ay pagsasama-sama upang makuha
ang huling resulta.

ids2ngram -n 3 -s /tmp/swap -o lahat.id3gram -p 1024000 idsfile1 idsfile2 idsfile3

Gumamit ng ids2ngram online gamit ang mga serbisyo ng onworks.net