datamas - מקוון בענן

תָכְנִית:

שֵׁם

datamas - חישובי שורת פקודה

תַקצִיר

datamassh [אוֹפְּצִיָה] op [col] [op col ...]

תיאור

מבצע פעולות מספריות/מחרוזות בקלט מ-stdin.

'אופ' היא הפעולה שיש לבצע; עבור קיבוץ, פעולות לכל שורה 'col' הוא הקלט
שדה לשימוש; 'col' יכול להיות מספר (1=שדה ראשון), או שם עמודה בעת השימוש -H or
--header-in אפשרויות.

שלח פעולות:
להמיר, להפוך

סינון קווים פעולות:
rmdup

פר-קו פעולות:
base64, debase64, md5, sha1, sha256, sha512

מספרי הַקבָּצָה פעולות:
סכום, min, max, absmin, absmax

טקסטואלי/מספרי הַקבָּצָה פעולות:
לספור, ראשון, אחרון, ראנד, ייחודי, קריסה, countunique

סטטיסטי הַקבָּצָה פעולות:
ממוצע, חציון, q1, q3, iqr, mode, antimode, pstdev, sstdev, pvar svar, mad, madraw,
pskew, sskew, pkurt, skurt, dpo, jarque

אפשרויות

הַקבָּצָה אפשרויות:
-f, --מלא
הדפס את כל שורת הקלט לפני תוצאות הפעולה (ברירת מחדל: הדפס רק את המקשים המקובצים)

-g, --קְבוּצָה=X[,Y,Z]
קבוצה באמצעות שדות X,[Y,Z]

--header-in
שורת הקלט הראשונה היא כותרות העמודות

---header-out
הדפס כותרות עמודות כשורה ראשונה

-H, --כותרות
זהה ל'--header-in ---header-out'

-i, --התעלם ממקרה
התעלם מאותיות גדולות/קטנות בעת השוואת טקסט; זה משפיע על קיבוץ ועל מחרוזת
פעולות

-s, --סוג
מיין את הקלט לפני קיבוץ; זה מסיר את הצורך בצנרת ידנית של הקלט
דרך 'מיין'

שלח פעולה אפשרויות:
--לא קפדנית
אפשר קווים עם מספר משתנה של שדות

--מִלוּי=X
מלא ערכים חסרים ב-X (ברירת מחדל %s)

כללי אפשרויות:
-t, --מפריד שדות=X
השתמש ב-X במקום ב-TAB כמפריד שדות

--נרם דלג על ערכי NA/NaN

-W, --רווח לבן
השתמש ברווח לבן (רווח אחד או יותר ו/או טאבים) למפרידי שדות

-z, -סיומו אפס
סיים שורות עם 0 בתים, לא שורה חדשה

- עזרה להציג עזרה זה וצא

--גִרְסָה
פרטי גרסת תפוקה ויציאה

זמין מבצעים

שלח פעולות:
לְשַׁרבֵּב המרת שורות, עמודות של קובץ הקלט

להפוך הפוך סדר שדה בכל שורה

סינון קווים פעולות:
rmdup הסר שורות עם ערך מפתח משוכפל

פר-קו פעולות:
base64 מקודד את השדה בתור base64

debase64 פענח את השדה כ-base64, צא עם שגיאה אם ​​מחרוזת base64 לא חוקית

md5/sha1/sha256/sha512
חשב md5/sha1/sha256/sha512 hash של ערך השדה

להפוך הפוך סדר שדה בכל שורה

מספרי הַקבָּצָה פעולות
סכום סיכום הערכים

דקות ערך מינימאלי

מקסימום ערך מקסימלי

אבסמין מינימום מהערכים המוחלטים

absmax מקסימום של הערכים המוחלטים

טקסטואלי/מספרי הַקבָּצָה פעולות
לספור לספור את מספר האלמנטים בקבוצה

ראשון הערך הראשון של הקבוצה

אחרון הערך האחרון של הקבוצה

שורה ערך אקראי אחד מהקבוצה

ייחודי רשימה ממוינת מופרדת בפסיקים של ערכים ייחודיים

התמוטטות רשימה מופרדת בפסיק של כל ערכי הקלט

ספירה ייחודית מספר ערכים ייחודיים/מובחנים

סטטיסטי הַקבָּצָה פעולות
אומר ממוצע הערכים

חציון ערך חציוני

q1 ערך הרבעון הראשון

q3 ערך רבעון שלישי

iqr טווח בין רבעוני

מצב ערך מצב (הערך הנפוץ ביותר)

אנטי מצב ערך אנטי-מוד (ערך נפוץ פחות)

pstdev סטיית תקן של אוכלוסייה

sstdev סטיית תקן לדוגמה

pvar שונות אוכלוסייה

תשובה שונה במדגם

מטורף סטייה מוחלטת חציונית, בקנה מידה קבוע של 1.4826 עבור התפלגות נורמלית

מדראו סטייה מוחלטת חציונית, ללא קנה מידה

להטות הטיה של הקבוצה (לדוגמה).

pskew הטיה של קבוצת (האוכלוסייה).
ערכים x שדווחו על ידי פעולות 'sskew' ו-'pssew':
x > 0 - מוטה באופן חיובי / מוטה ימינה
0 > x - מוטה שלילי / מוטה שמאלה
x > 1 - מוטה מאוד ימינה
1 > x > 0.5 - מוטה בינוני ימינה
0.5 > x > -0.5 - בערך סימטרי
-0.5 > x > -1 - מוטה בינוני שמאלה
-1 > x - מוטה מאוד שמאלה

סקורט עודף קורטוזיס של קבוצת (הדגימה).

pkurt עודף קורטוזיס של קבוצת (האוכלוסייה).

ז'רק ערך p של בדיקת Jarque-Beta לתקינות

dpo ערך p של בדיקת D'Agostino-Pearson Omnibus לתקינות;
עבור פעולות 'jarque' ו-'dpo':
השערת אפס היא נורמליות;
ערכי p נמוכים מצביעים על נתונים לא נורמליים;
ערכי p גבוהים מצביעים על השערת אפס שלא ניתן לדחות.

דוגמאות

הדפס את הסכום והממוצע של ערכים מעמודה 1:

$ seq 10 | datamassh סכום 1 ממוצע 1
55 5.5

קלט קבוצה מבוסס על שדה 1, וערכי סכום (לכל קבוצה) בשדה 2:

$ cat example.txt
10
5
B 9
B 11
$ datamassh -g 1 sum 2 < example.txt
15
B 20

יש למיין קלט לא ממוין (עם '-s'):

$ cat example.txt
10
ג 4
B 9
ג 1
5
B 11
$ datamassh -s -g1 sum 2 < example.txt
15
B 20
ג 5

שווה ערך ל:

$ cat example.txt | מיון -k1,1 | datamassh -g 1 סכום 2

השתמש -h (--כותרות) אם לקובץ הקלט יש שורת כותרת:

# ניתן קובץ עם שם תלמיד, שדה, ציון מבחן...
$ head -n5 scores_h.txt
שם ניקוד עיקרי
שון הנדסה 47
קיילב ביזנס 87
עסק נוצרי 88
דרק ארטס 60

# חשב את הממוצע ואת סטיית התקן עבור כל עיקרי
$ datamassh --sort --headers --group 2 mean 3 pstdev 3 < scores_h.txt
(או השתמש בצורה קצרה)
$ datamassh -sH -g2 ממוצע 3 pstdev 3 < scores_h.txt
(או השתמש בעמודות עם שם)
$ datamassh -sH -g Major mean Score pstdev Score < scores_h.txt
GroupBy(Major) mean(Score) pstdev(Score)
אמנויות 68.9 10.1
עסקים 87.3 4.9
הנדסה 66.5 19.1
בריאות-רפואה 90.6 8.8
מדעי החיים 55.3 19.7
מדעי החברה 60.2 16.6

הפוך סדר שדה בכל שורה:

$ seq 6 | הדבק - - | datamassh להפוך
2 1
4 3
6 5

המרת שורות, עמודות:

$ seq 6 | הדבק - - | datamassh לְשַׁרבֵּב
1 3 5
2 4 6

הסר שורות עם ערך מפתח כפול מעמודה 1 (לא אוהב ראשון,אחרון פעולות, rmdup
הוא הרבה יותר מהיר ואינו דורש מיון הקובץ עם -s):

# נתון רשימה של קבצים ומזהים לדוגמה:
קלט $ חתול
קובץ SampleID
2 cc.txt
3 dd.txt
1 ab.txt
2 ee.txt
3 ff.txt

# הסר שורות עם זיהוי מדגם משוכפל (עמודה 1):
$ datamassh rmdup 1 < INPUT
(או השתמשו בעמודה עם שם)
$ datamassh -H rmdup SampleID < INPUT
קובץ SampleID
2 cc.txt
3 dd.txt
1 ab.txt

חשב את ערך ה-sha1 של כל קובץ TXT, לאחר חישוב ערך sha1 של כל קובץ
תוכן הקובץ:

$ sha1sum *.txt | datamas -Wf sha1 2

נוֹסָף מידע

ראה אתר גנו Datamash (http://www.gnu.org/software/datamash)

השתמש ב-datamash באינטרנט באמצעות שירותי onworks.net