datamash - آنلاین در ابر

برنامه:

نام

datamash - محاسبات خط فرمان

خلاصه

datamash [گزینه] op [گردنه] [op گردنه ...]

شرح

عملیات عددی/رشته ای را روی ورودی از stdin انجام می دهد.

"op" عملیاتی است که باید انجام شود. برای گروه بندی، عملیات در هر خط 'col' ورودی است
زمینه برای استفاده؛ 'col' می تواند یک عدد (1 = اولین فیلد)، یا یک نام ستون در هنگام استفاده باشد -H or
-- header-in گزینه.

پرونده عملیات:
جابجا کردن، معکوس کردن

فیلتر خط عملیات:
rmdup

هر خط عملیات:
base64, debase64, md5, sha1, sha256, sha512

عددی گروه بندی عملیات:
جمع، حداقل، حداکثر، absmin، absmax

متنی / عددی گروه بندی عملیات:
شمارش، اولین، آخرین، رند، منحصر به فرد، فروپاشی، بی نظیر

آماری گروه بندی عملیات:
میانگین، میانه، q1، q3، iqr، حالت، آنتی مد، pstdev، sstdev، pvar svar، mad، madraw،
pskew، sskew، pkurt، skurt، dpo، jarque

OPTIONS

گروه بندی گزینه های ارسال:
-f, --پر شده
چاپ کل خط ورودی قبل از نتایج عملیات (پیش‌فرض: چاپ فقط کلیدهای گروه‌بندی شده)

-g, -- گروه=X[,Y,Z]
گروه بندی از طریق فیلدهای X,[Y,Z]

-- header-in
اولین خط ورودی سرصفحه ستون است

-- هدر بیرون
چاپ سرصفحه ستون به عنوان خط اول

-H, -- سرصفحه ها
مانند '--header-in -- هدر بیرون'

-i, --نادیده گرفتن مورد
هنگام مقایسه متن، حروف بزرگ/کوچک را نادیده بگیرید. این بر گروه بندی و رشته تاثیر می گذارد
عملیات

-s, --مرتب سازی
مرتب سازی ورودی قبل از گروه بندی. این نیاز به لوله کشی دستی ورودی را برطرف می کند
از طریق "مرتب کردن"

پرونده عمل گزینه های ارسال:
-- بدون سخت گیری
خطوط با تعداد فیلدهای مختلف را مجاز کنید

-- پرکننده=X
مقادیر از دست رفته را با X پر کنید (پیش‌فرض %s)

سوالات عمومی گزینه های ارسال:
-t, --فیلد جداکننده=X
از X به جای TAB به عنوان جداکننده فیلد استفاده کنید

--نرم از مقادیر NA/NaN صرف نظر کنید

-W, --فضای سفید
از فضای خالی (یک یا چند فاصله و/یا زبانه) برای جداکننده فیلد استفاده کنید

-z, --صفر خاتمه یافته
پایان خطوط با 0 بایت، نه خط جدید

--کمک این راهنما را نمایش دهید و از آن خارج شوید

- نسخه
اطلاعات نسخه خروجی و خروج

در دسترس عملیات

پرونده عملیات:
انتقال جابجایی ردیف ها، ستون های فایل ورودی

معکوس ترتیب فیلد معکوس در هر خط

فیلتر خط عملیات:
rmdup حذف خطوط با مقدار کلید تکراری

هر خط عملیات:
base64 فیلد را به صورت base64 رمزگذاری کنید

بی ارزش64 فیلد را به صورت base64 رمزگشایی کنید، اگر رشته base64 نامعتبر باشد، با خطا خارج شوید

md5/sha1/sha256/sha512
md5/sha1/sha256/sha512 هش مقدار فیلد را محاسبه کنید

معکوس ترتیب فیلد معکوس در هر خط

عددی گروه بندی عملیات
مجموع مجموع مقادیر

دقیقه حداقل مقدار

حداکثر حداکثر مقدار

absmin حداقل مقادیر مطلق

absmax حداکثر مقادیر مطلق

متنی / عددی گروه بندی عملیات
تعداد دفعات مشاهده شمارش تعداد عناصر در گروه

اول اولین مقدار گروه

آخر آخرین مقدار گروه

حاشیه یک مقدار تصادفی از گروه

منحصر به فرد لیست مرتب شده با کاما از مقادیر منحصر به فرد

سقوط لیستی از همه مقادیر ورودی جدا شده با کاما

بی نظیر تعداد مقادیر منحصر به فرد/متمایز

آماری گروه بندی عملیات
متوسط میانگین مقادیر

میانه ارزش متوسط

q1 مقدار چارک 1

q3 مقدار چارک 3

iqr محدوده بین چارکی

حالت مقدار حالت (متداول ترین مقدار)

آنتی مد مقدار ضد حالت (کمترین مقدار رایج)

pstdev انحراف معیار جمعیت

sstdev انحراف استاندارد

pvar واریانس جمعیت

پاسخ واریانس نمونه

دیوانه انحراف مطلق میانه، با ثابت 1.4826 برای توزیع های نرمال مقیاس شده است

مادرو انحراف مطلق میانه، بدون مقیاس

کج کردن چولگی گروه (نمونه).

pskew چولگی گروه (جمعیت).
مقادیر x گزارش شده توسط عملیات 'sskew' و 'pskew':
x > 0 - دارای انحراف مثبت / انحراف به راست
0 > x - دارای انحراف منفی / انحراف به چپ
x > 1 - دارای انحراف زیاد به سمت راست
1 > x > 0.5 - دارای انحراف متوسط ​​به سمت راست
0.5 > x > -0.5 - تقریباً متقارن
-0.5 > x > -1 - دارای انحراف متوسط ​​به چپ
-1 > x - به سمت چپ بسیار کج شده است

اسکورت کورتوز اضافی گروه (نمونه).

pkurt کورتوز اضافی گروه (جمعیت).

جارک p-مقدار آزمون Jarque-Beta برای نرمال بودن

dpo p-مقدار آزمون D'Agostino-Pearson Omnibus برای نرمال بودن.
برای عملیات "jarque" و "dpo":
فرضیه صفر نرمال بودن است.
مقادیر p پایین نشان دهنده داده های غیر عادی است.
مقادیر p بالا نشان می دهد که فرضیه صفر قابل رد نیست.

مثال ها

مجموع و میانگین مقادیر ستون 1 را چاپ کنید:

$ دنباله 10 | datamash جمع 1 یعنی 1
55 5.5

ورودی گروه بر اساس فیلد 1 و مجموع مقادیر (در هر گروه) در فیلد 2:

$ cat example.txt
10
5
B 9
B 11
$ datamash -g 1 sum 2 < example.txt
15
B 20

ورودی مرتب نشده باید مرتب شود (با '-s'):

$ cat example.txt
10
C 4
B 9
C 1
5
B 11
$ datamash -s -g1 sum 2 < example.txt
15
B 20
C 5

که معادل است با:

$ cat example.txt | مرتب سازی -k1,1 | datamash -g 1 مجموع 2

استفاده کنید -h (--سرصفحه ها) اگر فایل ورودی دارای یک خط سرصفحه باشد:

# ارائه فایل با نام دانش آموز، رشته، نمره آزمون ...
$ head -n5 scores_h.txt
نام امتیاز اصلی
مهندسی شاون 47
Caleb Business 87
تجارت مسیحی 88
درک آرتس 60

# میانگین و انحراف استاندارد برای هر رشته را محاسبه کنید
$ datamash --sort --headers --group 2 mean 3 pstdev 3 < scores_h.txt
(یا از فرم کوتاه استفاده کنید)
$ datamash -sH -g2 mean 3 pstdev 3 < scores_h.txt
(یا از ستون های نامگذاری شده استفاده کنید)
$ datamash -sH -g میانگین امتیاز اصلی امتیاز pstdev < scores_h.txt
GroupBy (عمده) میانگین (امتیاز) pstdev (امتیاز)
هنر 68.9 10.1
کسب و کار 87.3 4.9
مهندسی 66.5 19.1
سلامت-پزشکی 90.6 8.8
Life-Sciences 55.3 19.7
علوم اجتماعی 60.2 16.6

ترتیب فیلد معکوس در هر خط:

$ دنباله 6 | خمیر - - | datamash معکوس
2 1
4 3
6 5

جابجایی ردیف ها، ستون ها:

$ دنباله 6 | خمیر - - | datamash انتقال
1 3 5
2 4 6

خطوط با مقدار کلید تکراری را از ستون 1 حذف کنید (بر خلاف اول,آخر عملیات، rmdup
بسیار سریعتر است و نیازی به مرتب سازی فایل با -s ندارد:

لیستی از فایل ها و شناسه های نمونه در نظر گرفته شده است:
$ ورودی گربه
فایل نمونه شناسه
2 سی سی. txt
3 dd.txt
1 ab.txt
2 ee.txt
3 ff.txt

# خطوط با Sample-ID تکراری (ستون 1) را حذف کنید:
$ datamash rmdup 1 < INPUT
(یا از ستون با نام استفاده شده است)
$ datamash -H rmdup SampleID < INPUT
فایل نمونه شناسه
2 سی سی. txt
3 dd.txt
1 ab.txt

پس از محاسبه مقدار sha1 هر فایل، مقدار هش sha1 هر فایل TXT را محاسبه کنید
محتوای فایل:

$ sha1sum *.txt | datamash -Wf sha1 2

اضافی اطلاعات

وب سایت گنو دیتامش (http://www.gnu.org/software/datamash)

با استفاده از خدمات onworks.net از datamash به صورت آنلاین استفاده کنید