datamash - Интернет в облаке

ПРОГРАММА:

ИМЯ

datamash - вычисления из командной строки

СИНТАКСИС

датамаш [ВАРИАНТ] op [кол] [op кол ...]

ОПИСАНИЕ

Выполняет числовые / строковые операции при вводе из стандартного ввода.

'op' - это операция, которую нужно выполнить; Для группировки построчных операций 'col' - это входные данные.
поле для использования; 'col' может быть числом (1 = первое поле) или именем столбца при использовании -H or
--header-in настройки.

Файл операции:
транспонировать, перевернуть

Линейная фильтрация операции:
rmdup

Построчное операции:
base64, debase64, md5, ша1, ша256, ша512

Числовой группирование операции:
сумма, мин., макс., абс., ​​макс., абс.

Текстовый / числовой группирование операции:
подсчет, первый, последний, ранд, уникальный, коллапс, countunique

Статистический группирование операции:
среднее, медиана, q1, q3, iqr, mode, antimode, pstdev, sstdev, pvar svar, mad, madraw,
пскью, сскью, пкурт, скурт, дпо, ярк

ДОПОЛНИТЕЛЬНЫЕ УСЛУГИ, НЕ ВКЛЮЧЕННЫЕ В ПАКЕТ

группирование Опции:
-f, --полный
печатать всю строку ввода перед результатами операции (по умолчанию: печатать только сгруппированные ключи)

-g, --группа=X[, Y, Z]
группа через поля X, [Y, Z]

--header-in
первая строка ввода - заголовки столбцов

- заголовок
печатать заголовки столбцов как первую строку

-H, --заголовки
то же, что и '--header-in - заголовок'

-i, --игнорировать регистр
игнорировать верхний / нижний регистр при сравнении текста; это влияет на группировку, а строка
операции

-s, --Сортировать
сортировать ввод перед группировкой; это устраняет необходимость вручную направлять ввод
через 'сортировку'

Файл Эксплуатация Опции:
- нестрогий
разрешить строки с различным количеством полей

- наполнитель=X
заполнить отсутствующие значения X (по умолчанию% s)

Общие Опции:
-t, - разделитель полей=X
используйте X вместо TAB в качестве разделителя полей

--нарм пропускать значения NA / NaN

-W, - пробел
использовать пробелы (один или несколько пробелов и / или табуляции) для разделителей полей

-z, - с нулевым завершением
конечные строки с 0 байтами, а не новой строкой

--Помогите показать эту справку и выйти

--версия
вывести информацию о версии и выйти

В НАЛИЧИИ ОПЕРАЦИИ

Файл операции:
транспонировать транспонировать строки, столбцы входного файла

обратный обратный порядок полей в каждой строке

Линейная фильтрация операции:
rmdup удалить строки с повторяющимся значением ключа

Построчное операции:
base64 Кодировать поле как base64

унижать64 Расшифровать поле как base64, выйти с ошибкой, если недопустимая строка base64

md5 / sha1 / sha256 / sha512
Вычислить хэш md5 / sha1 / sha256 / sha512 значения поля

обратный обратный порядок полей в каждой строке

Числовой группирование операции
сумма суммировать значения

мин Минимальное значение

Макс максимальное значение

абсмин минимум абсолютных значений

абсмакс максимум абсолютных значений

Текстовый / числовой группирование операции
считать подсчитать количество элементов в группе

первый первое значение группы

последний последнее значение группы

все одно случайное значение из группы

созданного отсортированный список уникальных значений, разделенных запятыми

крах список всех входных значений, разделенных запятыми

уникальный количество уникальных / уникальных значений

Статистический группирование операции
значить среднее значение

медиана среднее значение

q1 Значение 1-го квартиля

q3 Значение 3-го квартиля

iqr межквартильный диапазон

Режим значение режима (наиболее частое значение)

антимод значение антирежима (наименьшее общее значение)

пстдев стандартное отклонение населения

сстдев стандартное отклонение образца

пвар дисперсия населения

отвечать выборочная дисперсия

сумасшедший среднее абсолютное отклонение, масштабированное константой 1.4826 для нормальных распределений

медресе среднее абсолютное отклонение, немасштабированное

перекос асимметрия группы (выборки)

перекос асимметрия группы (населения)
значения x, сообщаемые операциями 'sskew' и 'pskew':
x> 0 - положительно наклонено / наклонено вправо
0> x - отрицательно наклонено / наклонено влево
x> 1 - сильно перекошено вправо
1> x> 0.5 - умеренно наклон вправо
0.5> x> -0.5 - приблизительно симметричный
-0.5> x> -1 - умеренно перекос влево
-1> x - сильно перекос влево

скурт избыточный эксцесс группы (образец)

пкурт избыточный эксцесс группы (населения)

ярк p-значение критерия Жарка-Бета на нормальность

ДПО p-значение Омнибуса Д'Агостино-Пирсона на нормальность;
для операций jarque и dpo:
нулевая гипотеза - нормальность;
низкие значения p указывают на ненормальные данные;
высокие значения p указывают на то, что нулевая гипотеза не может быть отклонена.

ПРИМЕРЫ

Выведите сумму и среднее значение из столбца 1:

$ последовательность 10 | датамаш сумма 1 означает 1
55 5.5

Групповой ввод на основе поля 1 и суммарные значения (для каждой группы) в поле 2:

$ кошка пример.txt
10
5
B 9
B 11
$ датамаш -g 1 сумма 2 <example.txt
15
B 20

Несортированный ввод должен быть отсортирован (с помощью '-s'):

$ кошка пример.txt
10
C 4
B 9
C 1
5
B 11
$ датамаш -s -g1 сумма 2 <example.txt
15
B 20
C 5

Что эквивалентно:

$ cat пример.txt | сортировать -k1,1 | датамаш -g 1 сумма 2

Используйте -h (- заголовки) если во входном файле есть строка заголовка:

# Дан файл с именем студента, полем, счетом за тест ...
$ голова -n5 scores_h.txt
Название Основная партитура
Шон Инжиниринг 47
Калеб Бизнес 87
Христианский бизнес 88
Дерек Артс 60

# Вычислить среднее значение и стандартное отклонение для каждого основного
$ датамаш --sort --headers --group 2 mean 3 pstdev 3 <scores_h.txt
(или используйте короткую форму)
$ датамаш -sH -g2 означает 3 pstdev 3 <scores_h.txt
(или используйте именованные столбцы)
$ датамаш -sH -g Среднее значение Оценка pstdev Оценка <scores_h.txt
GroupBy (Major) mean (Score) pstdev (Score)
Искусство 68.9 10.1
Бизнес 87.3 4.9
Инженерное дело 66.5 19.1
Здоровье-Медицина 90.6 8.8
Науки о жизни 55.3 19.7
Социальные науки 60.2 16.6

Обратный порядок полей в каждой строке:

$ seq 6 | паста - - | датамаш обратный
2 1
4 3
6 5

Перенести строки, столбцы:

$ seq 6 | паста - - | датамаш транспонировать
1 3 5
2 4 6

Удалите строки с повторяющимся значением ключа из столбца 1 (в отличие от первый,последний операции rmdup
работает намного быстрее и не требует сортировки файла с помощью -s):

# Учитывая список файлов и образцы идентификаторов:
$ кошка ВВОД
Файл SampleID
2 куб.см.txt
3 дд.txt
1 аб.txt
2 ее.txt
3 ff.txt

# Удаляем строки с дублированным Sample-ID (столбец 1):
$ датамаш rmdup 1 <ВХОД
(или используется именованный столбец)
$ датамаш -H rmdup SampleID <ВВОД
Файл SampleID
2 куб.см.txt
3 дд.txt
1 аб.txt

Вычислите хеш-значение sha1 каждого файла TXT после вычисления значения sha1 каждого файла.
содержимое файла:

$ sha1sum * .txt | датамаш -Wf sha1 2

ДОПОЛНИТЕЛЬНЫЕ ИНФОРМАЦИЯ

См. Веб-сайт GNU Datamash (http://www.gnu.org/software/datamash)

Используйте datamash онлайн с помощью сервисов onworks.net