זוהי הפקודה ids2ngram שניתן להפעיל בספק האירוח החינמי של OnWorks באמצעות אחת מתחנות העבודה המקוונות המרובות שלנו, כגון Ubuntu Online, Fedora Online, אמולטור מקוון של Windows או אמולטור מקוון של MAC OS
תָכְנִית:
שֵׁם
ids2ngram - צור קובץ נתונים של n-gram מקובץ ids
תַקצִיר
ids2ngram [אוֹפְּצִיָה] ... ids_file...
תיאור
ids2ngram יוצר קובץ idngram, שהוא מערך ממוין [id1,..,idN,freq], מבינארי
קבצי זרם מזהה. כאן, קבצי זרם המזהה נוצרים תמיד על ידי mmseg or slmseg.
בעיקרון, הוא מוצא את כל המופעים של n-מילים tuples (כלומר ה tuple של (id1,..,idN)), וכן
ממיין את הטפולים האלה לפי הסדר הלקסיקוגרפי של המזהים המרכיבים את הטפולים, ואז כתוב
אותם לקובץ הפלט שצוין.
קלט
קובץ הקלט מוצג כזרם מזהה בינארי, שנראה כך:
[id0,...,idX]
אפשרויות
כל האפשרויות הבאות הן חובה.
-n,--Nmax N
מחולל Nתוצאה של -גרם. ids2ngram תומך רק ב-uni-gram, bi-gram ו-trigram,
כך שכל מספר שאינו בטווח של 1..3 אינו חוקי.
-s,--לְהַחלִיף קובץ החלפה
ציין את קובץ הביניים הזמני.
-o, --הַחוּצָה קובץ פלט
ציין את קובץ ה-idngram התוצאה, למשל המערך של [id1, ..., idN, freq]
-p, --סעיף N
ציין את הפריטים המקסימליים של n-גרם לכל פסקה. ids2ngram כותב לקובץ הזמני
על בסיס פיסקה. בכל פעם שהוא כותב פסקה החוצה, זה משחרר את
הזיכרון המתאים שהוקצה לו. כאשר מערכת המחשב שלך מאפשרת, גבוה יותר N
מוצע. זה יכול להאיץ את מהירות העיבוד בגלל פחות קלט/פלט.
דוגמא
הדוגמה הבאה תשתמש בקובץ idstream של שלושה קלט idsfile[1,2,3] כדי ליצור את
קובץ idngram all.id3gram. כל פארה (גודל מפה פנימית או גודל גיבוב) יהיה 1024000,
באמצעות קובץ החלפה עבור תוצאת זמני. כל התוצאה הזמנית תתמזג בסופו של דבר ל-got
התוצאה הסופית.
ids2ngram -n 3 -s /tmp/swap -o all.id3gram -p 1024000 idsfile1 idsfile2 idsfile3
השתמש ב-ids2ngram באינטרנט באמצעות שירותי onworks.net
