datamash - Dalam talian di Awan

JADUAL:

NAMA

datamash - pengiraan baris arahan

SINOPSIS

datamash [OPTION] op [kol] [op kol ...]

DESCRIPTION

Melakukan operasi berangka/rentetan pada input daripada stdin.

'op' ialah operasi untuk dilakukan; Untuk pengelompokan, operasi setiap baris 'col' ialah input
medan untuk digunakan; 'col' boleh menjadi nombor (1=medan pertama), atau nama lajur apabila menggunakan -H or
--header-in pilihan.

File operasi:
transpose, terbalik

Penapisan Talian operasi:
rmdup

Per-Baris operasi:
base64, debase64, md5, sha1, sha256, sha512

Angka Pengumpulan operasi:
jumlah, min, maks, absmin, absmax

Tekstual/Numerik Pengumpulan operasi:
kira, pertama, terakhir, rand, unik, runtuh, countunique

Statistik Pengumpulan operasi:
min, median, q1, q3, iqr, mod, antimod, pstdev, sstdev, pvar svar, mad, madraw,
pskew, sskew, pkurt, skurt, dpo, jarque

PILIHAN

Pengumpulan Pilihan:
-f, --penuh
cetak keseluruhan baris input sebelum keputusan op (lalai: cetak hanya kekunci berkumpulan)

-g, --kumpulan=X[,Y,Z]
kumpulan melalui medan X,[Y,Z]

--header-in
baris input pertama ialah pengepala lajur

--header-out
cetak tajuk lajur sebagai baris pertama

-H, --headers
sama seperti '--header-in --header-out'

-i, --abaikan-kes
abaikan huruf besar/kecil apabila membandingkan teks; ini menjejaskan kumpulan, dan rentetan
operasi

-s, --sort
mengisih input sebelum mengumpulkan; ini menghilangkan keperluan untuk menyalurkan input secara manual
melalui 'sort'

File Operasi Pilihan:
--tidak-ketat
benarkan baris dengan bilangan medan yang berbeza-beza

--pengisi=X
isikan nilai yang tiada dengan X (lalai %s)

Umum Pilihan:
-t, --pemisah-medan=X
gunakan X dan bukannya TAB sebagai pembatas medan

--narm langkau nilai NA/NaN

-W, --ruang putih
gunakan ruang putih (satu atau lebih ruang dan/atau tab) untuk pembatas medan

-z, --sifar-ditamatkan
baris tamat dengan 0 bait, bukan baris baharu

- membantu paparkan bantuan ini dan keluar

--versi
maklumat versi keluaran dan keluar

TERSEDIA OPERASI

File operasi:
menukar alihkan baris, lajur fail input

berbalik terbalik susunan medan dalam setiap baris

Penapisan Talian operasi:
rmdup alih keluar baris dengan nilai kunci pendua

Per-Baris operasi:
base64 Kodkan medan sebagai base64

debase64 Nyahkod medan sebagai base64, keluar dengan ralat jika rentetan base64 tidak sah

md5/sha1/sha256/sha512
Kira md5/sha1/sha256/sha512 cincangan nilai medan

berbalik terbalik susunan medan dalam setiap baris

Angka Pengumpulan operasi
jumlah jumlah nilai

minit nilai minimum

maks nilai maksimum

absmin minimum daripada nilai mutlak

absmax maksimum nilai mutlak

Tekstual/Numerik Pengumpulan operasi
mengira mengira bilangan elemen dalam kumpulan

pertama nilai pertama kumpulan

lepas nilai terakhir kumpulan

rand satu nilai rawak daripada kumpulan

unik senarai nilai unik yang dipisahkan koma

keruntuhan senarai semua nilai input yang dipisahkan koma

countunique bilangan nilai unik/berbeza

Statistik Pengumpulan operasi
bermakna min nilai

median nilai median

q1 nilai kuartil pertama

q3 nilai kuartil ke-3

iqr julat antara kuartil

mod nilai mod (nilai paling biasa)

antimod nilai anti-mod (nilai paling tidak biasa)

pstdev sisihan piawai penduduk

sstdev sisihan piawai sampel

pvar perbezaan penduduk

jawab varians sampel

gila sisihan mutlak median, berskala dengan pemalar 1.4826 untuk taburan normal

madraw sisihan mutlak median, tidak berskala

senget kecondongan kumpulan (sampel).

pskew kecondongan kumpulan (penduduk).
nilai x dilaporkan oleh operasi 'sskew' dan 'pskew':
x > 0 - condong positif / condong ke kanan
0 > x - condong negatif / condong ke kiri
x > 1 - sangat condong ke kanan
1 > x > 0.5 - condong ke kanan sederhana
0.5 > x > -0.5 - lebih kurang simetri
-0.5 > x > -1 - condong ke kiri sederhana
-1 > x - sangat condong ke kiri

skurt Kurtosis berlebihan kumpulan (sampel).

pkurt Kurtosis berlebihan kumpulan (penduduk).

jarque p-nilai ujian Jarque-Beta untuk kenormalan

dpo p-nilai ujian D'Agostino-Pearson Omnibus untuk kenormalan;
untuk operasi 'jarque' dan 'dpo':
hipotesis nol adalah normal;
Nilai-p rendah menunjukkan data bukan normal;
Nilai-p yang tinggi menunjukkan hipotesis nol tidak boleh ditolak.

CONTOH

Cetak jumlah dan min nilai dari lajur 1:

$ seq 10 | datamash jumlah 1 min 1
55 5.5

Input kumpulan berdasarkan medan 1, dan nilai jumlah (setiap kumpulan) pada medan 2:

$ cat example.txt
A 10
A 5
B 9
B 11
$ datamash -g 1 jumlah 2 < contoh.txt
A 15
B 20

Input yang tidak diisih mesti diisih (dengan '-s'):

$ cat example.txt
A 10
C 4
B 9
C 1
A 5
B 11
$ datamash -s -g1 jumlah 2 < contoh.txt
A 15
B 20
C 5

Yang bersamaan dengan:

$ cat example.txt | sort -k1,1 | datamash -g 1 jumlah 2

Penggunaan -h (--headers) jika fail input mempunyai baris pengepala:

# Diberi fail dengan nama pelajar, medan, markah ujian...
$ kepala -n5 scores_h.txt
Namakan Markah Utama
Kejuruteraan Shawn 47
Perniagaan Caleb 87
Perniagaan Kristian 88
Derek Arts 60

# Kira min dan devian piawai bagi setiap major
$ datamash --sort --headers --kumpulan 2 min 3 pstdev 3 < scores_h.txt
(atau gunakan bentuk pendek)
$ datamash -sH -g2 min 3 pstdev 3 < scores_h.txt
(atau gunakan lajur bernama)
$ datamash -sH -g Min Major Skor pstdev Skor < scores_h.txt
GroupBy(Major) min(Skor) pstdev(Skor)
Seni 68.9 10.1
Perniagaan 87.3 4.9
Kejuruteraan 66.5 19.1
Kesihatan-Perubatan 90.6 8.8
Sains Hayat 55.3 19.7
Sains Sosial 60.2 16.6

Terbalikkan susunan medan dalam setiap baris:

$ seq 6 | tampal - - | datamash berbalik
2 1
4 3
6 5

Ubah baris, lajur:

$ seq 6 | tampal - - | datamash menukar
1 3 5
2 4 6

Alih keluar baris dengan nilai kunci pendua daripada lajur 1 (Tidak seperti pertama,lepas operasi, rmdup
adalah lebih pantas dan tidak memerlukan mengisih fail dengan -s):

# Diberi senarai fail dan ID sampel:
$ kucing INPUT
Fail SampleID
2 cc.txt
3 dd.txt
1 ab.txt
2 ee.txt
3 ff.txt

# Alih keluar baris dengan ID Sampel pendua (lajur 1):
$ datamash rmdup 1 < INPUT
(atau digunakan lajur bernama)
$ datamash -H rmdup SampleID < INPUT
Fail SampleID
2 cc.txt
3 dd.txt
1 ab.txt

Kira nilai cincang sha1 setiap fail TXT, selepas mengira nilai sha1 setiap satu
kandungan fail:

$ sha1sum *.txt | datamash -Wf sha1 2

TAMBAHAN SYARIKAT

Lihat Laman Web GNU Datamash (http://www.gnu.org/software/datamash)

Gunakan datamash dalam talian menggunakan perkhidmatan onworks.net