ids2ngram - ക്ലൗഡിൽ ഓൺലൈനിൽ

പട്ടിക:

NAME

ids2ngram - ids ഫയലിൽ നിന്ന് n-gram ഡാറ്റ ഫയൽ സൃഷ്ടിക്കുക

സിനോപ്സിസ്

ids2ngram [ഓപ്ഷൻ]... ids_file...

വിവരണം

ids2ngram idngram ഫയൽ സൃഷ്ടിക്കുന്നു, അത് ബൈനറിയിൽ നിന്ന് അടുക്കിയ [id1,..,idN,freq] അറേയാണ്.
ഐഡി സ്ട്രീം ഫയലുകൾ. ഇവിടെ, ഐഡി സ്ട്രീം ഫയലുകൾ എപ്പോഴും ജനറേറ്റ് ചെയ്യുന്നത് mmseg or slmseg.
അടിസ്ഥാനപരമായി, ഇത് n-words tuples (അതായത് (id1,..,idN) ന്റെ tuple) എല്ലാ സംഭവങ്ങളും കണ്ടെത്തുന്നു, കൂടാതെ
ഈ ട്യൂപ്പിളുകളെ ഐഡികളുടെ ലെക്സിക്കോഗ്രാഫിക് ക്രമമനുസരിച്ച് തരംതിരിക്കുക, തുടർന്ന് എഴുതുക
അവ നിർദ്ദിഷ്ട ഔട്ട്പുട്ട് ഫയലിലേക്ക്.

ഇൻപുട്ട്

ഇൻപുട്ട് ഫയൽ ഒരു ബൈനറി ഐഡി സ്ട്രീം ആയി അവതരിപ്പിച്ചിരിക്കുന്നു, അത് ഇതുപോലെ കാണപ്പെടുന്നു:
[id0,...,idX]

ഓപ്ഷനുകൾ

ഇനിപ്പറയുന്ന എല്ലാ ഓപ്ഷനുകളും നിർബന്ധമാണ്.

-n,--NMax N
സൃഷ്ടിക്കുന്നു N-ഗ്രാം ഫലം. ids2ngram യൂണിഗ്രാം, ബിഗ്രാം, ട്രിഗ്രാം എന്നിവയെ മാത്രമേ പിന്തുണയ്ക്കൂ,
അതിനാൽ 1..3 പരിധിയിൽ ഇല്ലാത്ത ഒരു സംഖ്യയും സാധുതയുള്ളതല്ല.

-s,--സ്വാപ്പ് swap-file
താൽക്കാലിക ഇന്റർമീഡിയറ്റ് ഫയൽ വ്യക്തമാക്കുക.

-o, --പുറത്ത് ഔട്ട്പുട്ട്-ഫയൽ
ഫലമായ idngram ഫയൽ വ്യക്തമാക്കുക, ഉദാ [id1, ..., idN, freq] ന്റെ അറേ

-p, --പാരാ N
ഓരോ ഖണ്ഡികയിലും പരമാവധി n-gram ഇനങ്ങൾ വ്യക്തമാക്കുക. ids2ngram താൽക്കാലിക ഫയലിലേക്ക് എഴുതുന്നു
ഓരോ ഖണ്ഡികയിലും. ഓരോ തവണയും അത് ഒരു ഖണ്ഡിക എഴുതുമ്പോൾ, അത് സ്വതന്ത്രമാക്കുന്നു
അതിനായി അനുവദിച്ചിട്ടുള്ള അനുബന്ധ മെമ്മറി. നിങ്ങളുടെ കമ്പ്യൂട്ടർ സിസ്റ്റം അനുവദിക്കുമ്പോൾ, ഉയർന്നത് N
നിർദ്ദേശിക്കപ്പെട്ടിരിക്കുന്നു. I/O കുറവായതിനാൽ ഇത് പ്രോസസ്സിംഗ് വേഗത വർദ്ധിപ്പിക്കും.

ഉദാഹരണം

ഇനിപ്പറയുന്ന ഉദാഹരണം ജനറേറ്റ് ചെയ്യുന്നതിന് മൂന്ന് ഇൻപുട്ട് ഐഡിസ്ട്രീം ഫയൽ ഐഡിഎസ്ഫിൽ[1,2,3] ഉപയോഗിക്കും
idngram ഫയൽ all.id3gram. ഓരോ പാരായും (ആന്തരിക മാപ്പ് വലുപ്പം അല്ലെങ്കിൽ ഹാഷ് വലുപ്പം) 1024000 ആയിരിക്കും,
താൽക്കാലിക ഫലത്തിനായി സ്വാപ്പ് ഫയൽ ഉപയോഗിക്കുന്നു. എല്ലാ താൽക്കാലിക പാരാ ഫലങ്ങളും ഒടുവിൽ ലഭിച്ചതിലേക്ക് ലയിപ്പിക്കും
അന്തിമ ഫലം.

ids2ngram -n 3 -s /tmp/swap -o എല്ലാം.id3gram -p 1024000 idsfile1 idsfile2 idsfile3

onworks.net സേവനങ്ങൾ ഉപയോഗിച്ച് ids2ngram ഓൺലൈനായി ഉപയോഗിക്കുക