datamash - Online di Cloud

PROGRAM:

NAMA

datamash - perhitungan baris perintah

RINGKASAN

kumpulan data [PILIHAN] op [col] [op col ...]

DESKRIPSI

Melakukan operasi numerik/string pada input dari stdin.

'op' adalah operasi yang harus dilakukan; Untuk pengelompokan, operasi per baris 'col' adalah input
bidang yang akan digunakan; 'col' dapat berupa angka (1=bidang pertama), atau nama kolom saat menggunakan -H or
--tajuk-masuk Pilihan.

File operasi:
transpos, terbalik

Penyaringan Garis operasi:
rmdup

Per-baris operasi:
base64, debase64, md5, sha1, sha256, sha512

Numeric Pengelompokan operasi:
jumlah, min, maks, absmin, absmaks

Tekstual/Numerik Pengelompokan operasi:
hitung, pertama, terakhir, rand, unik, runtuh, countunique

Statistik Pengelompokan operasi:
rata-rata, median, q1, q3, iqr, mode, antimode, pstdev, sstdev, pvar svar, mad, madraw,
pskew, skew, pkurt, skurt, dpo, jarque

PILIHAN

Pengelompokan Pilihan:
-f, --penuh
cetak seluruh baris input sebelum hasil operasi (default: cetak hanya kunci yang dikelompokkan)

-g, --kelompok=X[,Y,Z]
grup melalui bidang X,[Y,Z]

--tajuk-masuk
baris input pertama adalah header kolom

--header-keluar
cetak tajuk kolom sebagai baris pertama

-H, --header
sama dengan '--header-in --header-keluar'

-i, --abaikan-kasus
abaikan huruf besar/kecil saat membandingkan teks; ini memengaruhi pengelompokan, dan string
operasi

-s, --menyortir
mengurutkan input sebelum mengelompokkan; ini menghilangkan kebutuhan untuk menyalurkan input secara manual
melalui 'mengurutkan'

File Operasi Pilihan:
--tidak ketat
izinkan garis dengan jumlah bidang yang bervariasi

--pengisi=X
isi nilai yang hilang dengan X (default %s)

Umum Pilihan:
-t, --pemisah-bidang=X
gunakan X alih-alih TAB sebagai pembatas bidang

--nama lewati nilai NA/NaN

-W, --spasi putih
gunakan spasi putih (satu atau lebih spasi dan/atau tab) untuk pembatas bidang

-z, --dihentikan nol
akhiri baris dengan 0 byte, bukan baris baru

--membantu tampilkan bantuan ini dan keluar

--Versi: kapan
menampilkan informasi versi dan keluar

TERSEDIA OPERASI

File operasi:
mengubah urutan transpos baris, kolom dari file input

membalikkan urutan bidang terbalik di setiap baris

Penyaringan Garis operasi:
rmdup hapus baris dengan nilai kunci yang digandakan

Per-baris operasi:
base64 Enkode bidang sebagai base64

merendahkan64 Dekode bidang sebagai base64, keluar dengan kesalahan jika string base64 tidak valid

md5/sha1/sha256/sha512
Hitung hash md5/sha1/sha256/sha512 dari nilai bidang

membalikkan urutan bidang terbalik di setiap baris

Numeric Pengelompokan operasi
jumlah jumlahkan nilai

menit nilai minimum

max nilai maksimum

perut minimum dari nilai absolut

absmaks maksimum dari nilai absolut

Tekstual/Numerik Pengelompokan operasi
menghitung hitung jumlah elemen dalam grup

pertama nilai pertama grup

terakhir nilai terakhir dari grup

baris satu nilai acak dari grup

unik daftar nilai unik yang dipisahkan koma

keruntuhan daftar yang dipisahkan koma dari semua nilai input

unik jumlah nilai unik/berbeda

Statistik Pengelompokan operasi
berarti rata-rata dari nilai

rata-rata nilai tengah

q1 nilai kuartil 1

q3 nilai kuartil ke-3

iqr jarak interkuartil

mode nilai mode (nilai paling umum)

anti mode nilai anti-mode (nilai paling tidak umum)

pstdev simpangan baku populasi

sstdev standar deviasi sampel

pvar varians populasi

menjawab varians sampel

gila deviasi absolut median, diskalakan dengan konstanta 1.4826 untuk distribusi normal

madraw deviasi absolut median, tanpa skala

miring kemiringan kelompok (sampel)

pskew kecondongan kelompok (populasi)
nilai x dilaporkan oleh operasi 'skew' dan 'pskew':
x > 0 - condong positif / condong ke kanan
0 > x - condong negatif / condong ke kiri
x > 1 - sangat miring ke kanan
1 > x > 0.5 - agak miring ke kanan
0.5 > x > -0.5 - kira-kira simetris
-0.5 > x > -1 - agak miring ke kiri
-1 > x - sangat miring ke kiri

rok kelebihan Kurtosis dari kelompok (sampel)

pkurt kelebihan Kurtosis dari kelompok (populasi)

jarque nilai p dari uji Jarque-Beta untuk normalitas

dpo p-nilai uji D'Agostino-Pearson Omnibus untuk normalitas;
untuk operasi 'jarque' dan 'dpo':
hipotesis nol adalah normalitas;
p-Values ​​rendah menunjukkan data yang tidak normal;
Nilai p tinggi menunjukkan hipotesis nol tidak dapat ditolak.

CONTOH

Cetak jumlah dan rata-rata nilai dari kolom 1:

$ urutan 10 | kumpulan data jumlah 1 berarti 1
55 5.5

Kelompokkan input berdasarkan kolom 1, dan jumlahkan nilai (per grup) pada kolom 2:

$ contoh kucing.txt
Sebuah 10
Sebuah 5
B 9
B 11
$ kumpulan data -g 1 jumlah 2 < contoh.txt
Sebuah 15
B 20

Input yang tidak disortir harus diurutkan (dengan '-s'):

$ contoh kucing.txt
Sebuah 10
C 4
B 9
C 1
Sebuah 5
B 11
$ kumpulan data -s -g1 jumlah 2 < contoh.txt
Sebuah 15
B 20
C 5

Yang setara dengan:

$ cat example.txt | urutkan -k1,1 | kumpulan data -g 1 jumlah 2

penggunaan -h (--header) jika file input memiliki baris header:

# Diberi file dengan nama siswa, bidang, nilai ujian ...
$ kepala -n5 skor_h.txt
Nama Skor Utama
Teknik Shawn 47
Bisnis Caleb 87
Bisnis Kristen 88
Seni Derek 60

# Hitung mean dan standar devian untuk setiap jurusan
$ kumpulan data --sort --headers --group 2 berarti 3 pstdev 3 < skor_h.txt
(atau gunakan bentuk pendek)
$ kumpulan data -sH -g2 berarti 3 pstdev 3 < skor_h.txt
(atau gunakan kolom bernama)
$ kumpulan data -sH -g Skor rata-rata utama Skor pstdev < skor_h.txt
GroupBy(Mayor) mean(Skor) pstdev(Skor)
Seni 68.9 10.1
Bisnis 87.3 4.9
Teknik 66.5 19.1
Kesehatan-Kedokteran 90.6 8.8
Ilmu Kehidupan 55.3 19.7
Ilmu Sosial 60.2 16.6

Urutan bidang terbalik di setiap baris:

$ seq 6 | tempel - - | kumpulan data membalikkan
2 1
4 3
6 5

Transpos baris, kolom:

$ seq 6 | tempel - - | kumpulan data mengubah urutan
1 3 5
2 4 6

Hapus baris dengan nilai kunci duplikat dari kolom 1 (Tidak seperti pertama,terakhir operasi, rmdup
jauh lebih cepat dan tidak perlu menyortir file dengan -s):

# Diberikan daftar file dan ID sampel:
$ kucing INPUT
Contoh ID File
2 cc.txt
3 dd.txt
1 ab.txt
2 ee.txt
3 ff.txt

# Hapus baris dengan ID Sampel yang digandakan (kolom 1):
$ kumpulan data rmdup 1 < INPUT
(atau menggunakan kolom bernama)
$ kumpulan data -H rmdup SampleID < INPUT
Contoh ID File
2 cc.txt
3 dd.txt
1 ab.txt

Hitung nilai hash sha1 dari setiap file TXT, setelah menghitung nilai sha1 masing-masing
isi file:

$sha1sum *.txt | datamash -Wf sha1 2

TAMBAHAN INFORMASI

Lihat Situs Web GNU Datamash (http://www.gnu.org/software/datamash)

Gunakan datamash online menggunakan layanan onworks.net