datamash - ออนไลน์ใน Cloud

โครงการ:

ชื่อ

datamash - การคำนวณบรรทัดคำสั่ง

เรื่องย่อ

ดาต้าแมช [ทางเลือกที่] op [Col] [op Col ... ]

DESCRIPTION

ดำเนินการตัวเลข/สตริงบนอินพุตจาก stdin

'op' คือการดำเนินการที่จะดำเนินการ สำหรับการจัดกลุ่ม การดำเนินการต่อบรรทัด 'col' คืออินพุต
สนามที่จะใช้; 'col' อาจเป็นตัวเลข (1=ฟิลด์แรก) หรือชื่อคอลัมน์เมื่อใช้ -H or
--ส่วนหัวใน ตัวเลือก

เนื้อไม่มีมัน การดำเนินงาน:
ย้ายกลับ

การกรองเส้น การดำเนินงาน:
rmdup

ต่อบรรทัด การดำเนินงาน:
เบส 64, เดเบส 64, md5, sha1, sha256, sha512

เป็นตัวเลข หมวดหมู่ การดำเนินงาน:
ผลรวม, นาที, สูงสุด, แอ็บสมิน, แอ็บสแม็กซ์

ข้อความ/ตัวเลข หมวดหมู่ การดำเนินงาน:
นับ, ก่อน, ท้ายสุด, แรนด์, เฉพาะ, ยุบ, นับไม่ถ้วน

สถิติ หมวดหมู่ การดำเนินงาน:
หมายถึง, ค่ามัธยฐาน, q1, q3, iqr, โหมด, antimode, pstdev, sstdev, pvar svar, บ้า, madraw,
ปึ๋งปั๋งปั๋งปั๋งปั๋งปั๋งปั๋งปั๋งปั๋งปั๊บ

OPTIONS

หมวดหมู่ ตัวเลือก:
-f, --เต็ม
พิมพ์บรรทัดอินพุตทั้งหมดก่อนผลลัพธ์ op (ค่าเริ่มต้น: พิมพ์เฉพาะคีย์ที่จัดกลุ่ม)

-g, --กลุ่ม=X[,ย,ซ]
กลุ่มผ่านช่อง X,[Y,Z]

--ส่วนหัวใน
บรรทัดอินพุตแรกคือส่วนหัวของคอลัมน์

--ส่วนหัวออก
พิมพ์ส่วนหัวของคอลัมน์เป็นบรรทัดแรก

-H, --ส่วนหัว
เช่นเดียวกับ '--header-in --ส่วนหัวออก'

-i, --ละเว้นกรณี
ละเว้นตัวพิมพ์ใหญ่/ตัวพิมพ์เล็กเมื่อเปรียบเทียบข้อความ สิ่งนี้ส่งผลต่อการจัดกลุ่มและสตริง
การดำเนินงาน

-s, --เรียงลำดับ
เรียงลำดับอินพุตก่อนจัดกลุ่ม สิ่งนี้จะขจัดความจำเป็นในการไพพ์อินพุตด้วยตนเอง
ผ่าน 'การเรียงลำดับ'

เนื้อไม่มีมัน การดำเนินการ ตัวเลือก:
--ไม่เข้มงวด
อนุญาตให้บรรทัดที่มีจำนวนฟิลด์ต่างกัน

--ผู้ที่ใส่=X
เติมค่าที่หายไปด้วย X (ค่าเริ่มต้น %s)

General ตัวเลือก:
-t, --field-คั่น=X
ใช้ X แทน TAB เป็นตัวคั่นฟิลด์

--น้ำ ข้ามค่า NA/NaN

-W, --ช่องว่าง
ใช้ช่องว่าง (อย่างน้อยหนึ่งช่องว่างและ/หรือแท็บ) สำหรับตัวคั่นฟิลด์

-z, --zero-สิ้นสุด
สิ้นสุดบรรทัดที่มี 0 ไบต์ไม่ใช่ขึ้นบรรทัดใหม่

--ช่วยด้วย แสดงวิธีใช้นี้และออกจาก

--รุ่น
ข้อมูลรุ่นส่งออกและการออก

พร้อมใช้งาน การดำเนินการ

เนื้อไม่มีมัน การดำเนินงาน:
ไขว้ สลับแถว, คอลัมน์ของไฟล์อินพุต

ย้อนกลับ ย้อนกลับลำดับฟิลด์ในแต่ละบรรทัด

การกรองเส้น การดำเนินงาน:
rmdup ลบบรรทัดที่มีค่าคีย์ซ้ำกัน

ต่อบรรทัด การดำเนินงาน:
base64 เข้ารหัสฟิลด์เป็น base64

เดเบส64 ถอดรหัสฟิลด์เป็น base64 ออกโดยมีข้อผิดพลาดหากสตริง base64 ไม่ถูกต้อง

md5/sha1/sha256/sha512
คำนวณ md5/sha1/sha256/sha512 แฮชของค่าฟิลด์

ย้อนกลับ ย้อนกลับลำดับฟิลด์ในแต่ละบรรทัด

เป็นตัวเลข หมวดหมู่ การดำเนินงาน
รวม ผลรวมของค่า

นาที ค่าต่ำสุด

แม็กซ์ ค่าสูงสุด

แอ๊บสมิน ค่าสัมบูรณ์ขั้นต่ำ

แอ๊บแม๊กซ์ สูงสุดของค่าสัมบูรณ์

ข้อความ/ตัวเลข หมวดหมู่ การดำเนินงาน
นับ นับจำนวนองค์ประกอบในกลุ่ม

เป็นครั้งแรก ค่าแรกของกลุ่ม

ล่าสุด ค่าสุดท้ายของกลุ่ม

ทั้งหมด ค่าสุ่มหนึ่งค่าจากกลุ่ม

เป็นเอกลักษณ์ รายการที่คั่นด้วยเครื่องหมายจุลภาคของค่าที่ไม่ซ้ำกัน

ล่มสลาย รายการค่าอินพุตทั้งหมดคั่นด้วยเครื่องหมายจุลภาค

Countunique จำนวนค่าที่ไม่ซ้ำ/แตกต่าง

สถิติ หมวดหมู่ การดำเนินงาน
หมายความ ค่าเฉลี่ยของค่า

มัธยฐาน ค่ากลาง

q1 ค่าควอร์ไทล์ที่ 1

q3 ค่าควอร์ไทล์ที่ 3

ไอคิวอาร์ ช่วงระหว่างควอร์ไทล์

โหมด ค่าโหมด (ค่าทั่วไปส่วนใหญ่)

แอนตี้โหมด ค่าต่อต้านโหมด (ค่าทั่วไปน้อยที่สุด)

pstdev ส่วนเบี่ยงเบนมาตรฐานของประชากร

sstdev ตัวอย่างค่าเบี่ยงเบนมาตรฐาน

พีวาร์ ความแปรปรวนของประชากร

คำตอบ ความแปรปรวนตัวอย่าง

บ้า ค่าเบี่ยงเบนสัมบูรณ์มัธยฐาน ปรับขนาดด้วยค่าคงที่ 1.4826 สำหรับการแจกแจงแบบปกติ

ต้นมะพร้าว ค่าเบี่ยงเบนสัมบูรณ์มัธยฐาน, ไม่ได้มาตราส่วน

เบ้ ความเบ้ของกลุ่ม (ตัวอย่าง)

เอียง ความเบ้ของกลุ่ม (ประชากร)
ค่า x รายงานโดยการดำเนินการ 'sskew' และ 'pskew':
x > 0 - เบ้บวก / เบ้ขวา
0 > x - เบ้ในเชิงลบ / เบ้ซ้าย
x > 1 - เบ้มากขวา
1 > x > 0.5 - เบ้ขวาปานกลาง
0.5 > x > -0.5 - สมมาตรโดยประมาณ
-0.5 > x > -1 - เบ้ซ้ายปานกลาง
-1 > x - เบ้ซ้ายมาก

กระโปรง Kurtosis ส่วนเกินของกลุ่ม (ตัวอย่าง)

เคิร์ต Kurtosis ส่วนเกินของกลุ่ม (ประชากร)

จาร์ก p-value ของการทดสอบ Jarque-Beta สำหรับภาวะปกติ

อ.ส.ค. p-value ของการทดสอบ D'Agostino-Pearson Omnibus สำหรับภาวะปกติ
สำหรับการดำเนินการ 'jarque' และ 'dpo':
สมมติฐานว่างเป็นเรื่องปกติ
p-Values ​​ต่ำบ่งชี้ข้อมูลที่ไม่ปกติ
ค่า p สูงบ่งชี้ว่าไม่สามารถปฏิเสธสมมติฐานว่างได้

ตัวอย่าง

พิมพ์ผลรวมและค่าเฉลี่ยของค่าจากคอลัมน์ 1:

$ ต่อ 10 | ดาต้าแมช ผลรวม 1 หมายถึง 1
55 5.5

อินพุตกลุ่มตามฟิลด์ 1 และค่ารวม (ต่อกลุ่ม) ในฟิลด์ 2:

ตัวอย่างแมว $.txt
10
5
9 B
11 B
$ ดาต้าแมช -g 1 ผลรวม 2 < example.txt
15
20 B

อินพุตที่ไม่ได้เรียงลำดับจะต้องเรียงลำดับ (ด้วย '-s'):

ตัวอย่างแมว $.txt
10
4 C
9 B
1 C
5
11 B
$ ดาต้าแมช -s -g1 ผลรวม 2 < example.txt
15
20 B
5 C

ซึ่งเทียบเท่ากับ:

ตัวอย่างแมว $.txt | เรียง -k1,1 | ดาต้าแมช -g 1 ผลรวม 2

ใช้ -h (--ส่วนหัว) หากไฟล์อินพุตมีบรรทัดส่วนหัว:

#ให้ไฟล์ชื่อนักศึกษา,สนาม,คะแนนสอบ...
$ หัว -n5 scores_h.txt
ชื่อคะแนนหลัก
ชอว์น เอ็นจิเนียริ่ง47
ธุรกิจคาเลบ87
ธุรกิจคริสเตียน 88
ดีเร็กอาร์ต60

# คำนวณค่าเฉลี่ยและค่าเบี่ยงเบนมาตรฐานสำหรับแต่ละสาขาวิชา
$ ดาต้าแมช --sort --headers --group 2 หมายถึง 3 pstdev 3 < scores_h.txt
(หรือใช้แบบย่อ)
$ ดาต้าแมช -sH -g2 หมายถึง 3 pstdev 3 < scores_h.txt
(หรือใช้คอลัมน์ที่มีชื่อ)
$ ดาต้าแมช -sH -g คะแนนเฉลี่ยหลัก pstdev คะแนน < scores_h.txt
GroupBy(วิชาเอก) ค่าเฉลี่ย(คะแนน) pstdev(คะแนน)
ศิลปะ 68.9 10.1
ธุรกิจ 87.3 4.9
วิศวกรรม 66.5 19.1
ยาเพื่อสุขภาพ 90.6 8.8
ชีววิทยาศาสตร์ 55.3 19.7
สังคมศาสตร์ 60.2 16.6

ย้อนกลับลำดับของฟิลด์ในแต่ละบรรทัด:

$ seq 6 | แปะ - - | ดาต้าแมช ย้อนกลับ
2 1
4 3
6 5

ย้ายแถว คอลัมน์:

$ seq 6 | แปะ - - | ดาต้าแมช ไขว้
1 3 5
2 4 6

ลบบรรทัดที่มีค่าคีย์ซ้ำกันออกจากคอลัมน์ 1 (Unlike เป็นครั้งแรก,ล่าสุด การดำเนินงาน rmdup
เร็วกว่ามากและไม่ต้องการการเรียงลำดับไฟล์ด้วย -s):

# ระบุรายการไฟล์และ ID ตัวอย่าง:
$ cat อินพุต
ไฟล์ ID ตัวอย่าง
2 ซีซี.txt
3 dd.txt
1ab.txt
2ee.txt
3ff.txt

# ลบบรรทัดที่มี Sample-ID ที่ซ้ำกัน (คอลัมน์ 1):
$ ดาต้าแมช rmdup 1 < INPUT
(หรือใช้ชื่อคอลัมน์)
$ ดาต้าแมช -H rmdup SampleID < INPUT
ไฟล์ ID ตัวอย่าง
2 ซีซี.txt
3 dd.txt
1ab.txt

คำนวณค่าแฮช sha1 ของไฟล์ TXT แต่ละไฟล์ หลังจากคำนวณค่า sha1 ของแต่ละไฟล์แล้ว
เนื้อหาของไฟล์:

$sha1sum *.txt | ดาต้าแมช -Wf sha1 2

เพิ่มเติม ข้อมูล

ดูเว็บไซต์ GNU Datamash (http://www.gnu.org/software/datamash)

ใช้ datamash ออนไลน์โดยใช้บริการ onworks.net