datamash - Trực tuyến trên đám mây

CHƯƠNG TRÌNH:

TÊN

datamash - tính toán dòng lệnh

SYNOPSIS

tổng hợp dữ liệu [TÙY CHỌN] op [col] [op col ...]

MÔ TẢ

Thực hiện các phép toán số / chuỗi trên đầu vào từ stdin.

'op' là hoạt động để thực hiện; Để phân nhóm, các phép toán trên mỗi dòng 'col' là đầu vào
lĩnh vực sử dụng; 'col' có thể là một số (1 = trường đầu tiên) hoặc một tên cột khi sử dụng -H or
- đầu vào tùy chọn.

Tập tin hoạt động:
đổi chỗ, đảo ngược

Lọc dòng hoạt động:
rmdup

Mỗi dòng hoạt động:
cơ sở64, debase64, md5, sha1, sha256, sha512

Numeric Nhóm hoạt động:
tổng, tối thiểu, tối đa, absmin, absmax

Văn bản / Số Nhóm hoạt động:
đếm, đầu tiên, cuối cùng, rand, duy nhất, thu gọn, đếm

Thống kê Nhóm hoạt động:
trung bình, q1, q3, iqr, mode, antimode, pstdev, sstdev, pvar svar, mad, madraw,
pskew, sskew, pkurt, skurt, dpo, jarque

LỰA CHỌN

Nhóm Tùy chọn:
-f, --đầy
in toàn bộ dòng nhập trước khi kết quả op (mặc định: chỉ in các phím được nhóm)

-g, --tập đoàn=X[, Y, Z]
nhóm qua các trường X, [Y, Z]

- đầu vào
dòng đầu vào đầu tiên là tiêu đề cột

- đầu ra
in tiêu đề cột dưới dạng dòng đầu tiên

-H, --tiêu đề
giống như '--header-in - đầu ra'

-i, --bỏ qua trường hợp
bỏ qua chữ hoa / thường khi so sánh văn bản; điều này ảnh hưởng đến nhóm và chuỗi
hoạt động

-s, --loại
sắp xếp đầu vào trước khi phân nhóm; điều này loại bỏ nhu cầu nhập đầu vào theo cách thủ công
thông qua 'sắp xếp'

Tập tin hoạt động Tùy chọn:
- không nghiêm ngặt
cho phép các dòng với số lượng trường khác nhau

--điền vào=X
điền các giá trị còn thiếu với X (% s mặc định)

Tổng Quát Tùy chọn:
-t, - dấu phân cách trường=X
sử dụng X thay vì TAB làm dấu phân cách trường

--narm bỏ qua các giá trị NA / NaN

-W, - không gian trắng
sử dụng khoảng trắng (một hoặc nhiều khoảng trắng và / hoặc tab) cho các dấu phân cách trường

-z, - đã chấm dứt
dòng kết thúc bằng 0 byte, không phải dòng mới

--Cứu giúp hiển thị trợ giúp này và thoát

--phiên bản
thông tin phiên bản và thoát

CÓ HOẠT ĐỘNG

Tập tin hoạt động:
hoán vị hoán vị các hàng, cột của tệp đầu vào

đảo ngược đảo ngược thứ tự trường trong mỗi dòng

Lọc dòng hoạt động:
rmdup loại bỏ các dòng có giá trị khóa trùng lặp

Mỗi dòng hoạt động:
base64 Mã hóa trường dưới dạng base64

debase64 Giải mã trường dưới dạng base64, thoát với lỗi nếu chuỗi base64 không hợp lệ

md5 / sha1 / sha256 / sha512
Tính băm md5 / sha1 / sha256 / sha512 của giá trị trường

đảo ngược đảo ngược thứ tự trường trong mỗi dòng

Numeric Nhóm hoạt động
tổng hợp tổng các giá trị

phút giá trị tối thiểu

tối đa gia trị lơn nhât

bụng đói tối thiểu của các giá trị tuyệt đối

cơ bụng tối đa của các giá trị tuyệt đối

Văn bản / Số Nhóm hoạt động
tính đếm số phần tử trong nhóm

Thành phố điện khí hóa phía tây dãy núi Rocky đầu tiên giá trị đầu tiên của nhóm

cuối cùng giá trị cuối cùng của nhóm

rand một giá trị ngẫu nhiên từ nhóm

độc đáo danh sách các giá trị duy nhất được sắp xếp được phân tách bằng dấu phẩy

sụp đổ danh sách được phân tách bằng dấu phẩy của tất cả các giá trị đầu vào

đếm ngược số lượng giá trị duy nhất / khác biệt

Thống kê Nhóm hoạt động
nghĩa là trung bình của các giá trị

trung vị Giá trị trung vị

q1 Giá trị phần tư thứ nhất

q3 Giá trị phần tư thứ 3

iqr phạm vi liên phần tư

chế độ giá trị chế độ (giá trị phổ biến nhất)

phản chế độ giá trị chống chế độ (giá trị ít phổ biến nhất)

pstdev Độ lệch tiêu chuẩn dân số

sstdev độ lệch chuẩn mẫu

pvar phương sai dân số

bài giải phương sai mẫu

điên độ lệch tuyệt đối trung bình, được chia tỷ lệ bằng hằng số 1.4826 cho các phân phối chuẩn

vẽ nguệch ngoạc độ lệch tuyệt đối trung bình, chưa được chia tỷ lệ

xiên độ lệch của nhóm (mẫu)

xiên độ lệch của nhóm (dân số)
các giá trị x được báo cáo bởi hoạt động 'sskew' và 'pskew':
x> 0 - lệch dương / lệch phải
0> x - lệch âm / lệch trái
x> 1 - lệch phải nhiều
1> x> 0.5 - lệch vừa phải
0.5> x> -0.5 - xấp xỉ đối xứng
-0.5> x> -1 - lệch trái vừa phải
-1> x - lệch trái nhiều

lén lút Kurtosis dư thừa của nhóm (mẫu)

pkurt Kurtosis dư thừa của nhóm (dân số)

nói tục giá trị p của thử nghiệm Jarque-Beta cho tính bình thường

dpo giá trị p của bài kiểm tra D'Agostino-Pearson Omnibus cho tính chuẩn;
cho các hoạt động 'jarque' và 'dpo':
giả thuyết vô hiệu là tính chuẩn mực;
Giá trị p thấp cho biết dữ liệu không bình thường;
Giá trị p cao cho thấy giả thuyết rỗng không thể bị bác bỏ.

VÍ DỤ

In tổng và giá trị trung bình từ cột 1:

$ tiếp theo 10 | tổng hợp dữ liệu tổng 1 nghĩa là 1
55 5.5

Nhập nhóm dựa trên trường 1 và tổng giá trị (mỗi nhóm) trên trường 2:

$ con mèo ví dụ.txt
Một 10
Một 5
B 9
B 11
$ tổng hợp dữ liệu -g 1 tổng 2 <example.txt
Một 15
B 20

Đầu vào không được sắp xếp phải được sắp xếp (với '-s'):

$ con mèo ví dụ.txt
Một 10
C 4
B 9
C 1
Một 5
B 11
$ tổng hợp dữ liệu -s -g1 sum 2 <example.txt
Một 15
B 20
C 5

Tương đương với:

$ cat example.txt | sắp xếp -k1,1 | tổng hợp dữ liệu -g 1 tổng 2

Sử dụng -h (- tiêu đề) nếu tệp đầu vào có dòng tiêu đề:

# Cho một tệp có tên sinh viên, trường, điểm thi ...
$ head -n5 Score_h.txt
Tên Điểm chính
Kỹ thuật Shawn 47
Kinh doanh Caleb 87
Cơ đốc kinh doanh 88
Nghệ thuật Derek 60

# Tính giá trị trung bình và devian tiêu chuẩn cho mỗi chuyên ngành
$ tổng hợp dữ liệu --sort --headers - nhóm 2 nghĩa là 3 pstdev 3 <score_h.txt
(hoặc sử dụng mẫu ngắn)
$ tổng hợp dữ liệu -sH -g2 nghĩa là 3 pstdev 3 <score_h.txt
(hoặc sử dụng các cột được đặt tên)
$ tổng hợp dữ liệu -sH -g Trung bình chính Điểm pstdev Điểm <score_h.txt
NhómBy (Chính) nghĩa là (Điểm) pstdev (Điểm)
Nghệ thuật 68.9 10.1
Kinh doanh 87.3 4.9
Kỹ thuật 66.5 19.1
Y tế-Y tế 90.6 8.8
Khoa học đời sống 55.3 19.7
Khoa học xã hội 60.2 16.6

Đảo ngược thứ tự trường trong mỗi dòng:

$ seq 6 | dán - - | tổng hợp dữ liệu đảo ngược
2 1
4 3
6 5

Chuyển đổi các hàng, cột:

$ seq 6 | dán - - | tổng hợp dữ liệu hoán vị
1 3 5
2 4 6

Xóa các dòng có giá trị khóa trùng lặp khỏi cột 1 (Không giống như Thành phố điện khí hóa phía tây dãy núi Rocky đầu tiên,cuối cùng hoạt động, rmdup
nhanh hơn nhiều và không yêu cầu sắp xếp tệp với -s):

# Đưa ra danh sách các tệp và ID mẫu:
$ con mèo ĐẦU VÀO
Tệp SampleID
2 cc.txt
3 dd.txt
1 ab.txt
2 ee.txt
3 ff.txt

# Xóa các dòng có ID mẫu trùng lặp (cột 1):
$ tổng hợp dữ liệu rmdup 1 <INPUT
(hoặc đã sử dụng cột có tên)
$ tổng hợp dữ liệu -H rmdup SampleID <INPUT
Tệp SampleID
2 cc.txt
3 dd.txt
1 ab.txt

Tính giá trị băm sha1 của mỗi tệp TXT, sau khi tính giá trị sha1 của mỗi tệp
nội dung của tệp:

$ sha1sum * .txt | datamash -Wf sha1 2

BỔ SUNG THÔNG TIN

Xem Trang web GNU Datamash (http://www.gnu.org/software/datamash)

Sử dụng datamash trực tuyến bằng các dịch vụ onworks.net