datamash - Online in der Cloud

PROGRAMM:

NAME/FUNKTION

datamash - Befehlszeilenberechnungen

ZUSAMMENFASSUNG

Datenmasche [zur Auswahl] op [col] [op col ...]

BESCHREIBUNG

Führt numerische/String-Operationen bei Eingaben von stdin aus.

'op' ist die auszuführende Operation; Für die Gruppierung ist 'col' die Eingabe pro Zeile
zu verwendendes Feld; 'col' kann eine Zahl sein (1=erstes Feld) oder ein Spaltenname bei Verwendung -H or
--header-in Optionen.

Reichen Sie das Operationen:
transponieren, umkehren

Leitungsfilterung Operationen:
rmdup

Pro Zeile Operationen:
base64, debase64, md5, sha1, sha256, sha512

Numerisch Gruppierung Operationen:
Summe, min, max, absmin, absmax

Text/Numerisch Gruppierung Operationen:
zählen, zuerst, zuletzt, rand, einzigartig, zusammenbrechen, countunique

Statistisch Gruppierung Operationen:
Mittelwert, Median, q1, q3, iqr, Modus, Antimodus, pstdev, sstdev, pvar svar, verrückt, madraw,
pskew, sskew, pkurt, skurt, dpo, jaque

OPTIONAL

Gruppierung Zubehör:
-f, --voll
druckt die gesamte Eingabezeile vor den Op-Ergebnissen (Standard: nur die gruppierten Tasten drucken)

-g, --Gruppe=X[,Y,Z]
über Felder X,[Y,Z] gruppieren

--header-in
erste Eingabezeile sind Spaltenüberschriften

--header-out
Spaltenüberschriften als erste Zeile drucken

-H, --header
wie '--header-in --header-out'

-i, --Fall ignorieren
ignoriert Groß-/Kleinschreibung beim Vergleichen von Text; dies betrifft die Gruppierung und die Zeichenfolge
Geschäftstätigkeit

-s, --Sortieren
Sortieren Sie die Eingabe vor dem Gruppieren; Dadurch entfällt die Notwendigkeit, die Eingabe manuell weiterzuleiten
durch 'sortieren'

Reichen Sie das Produktion Zubehör:
--nicht streng
Zeilen mit unterschiedlicher Anzahl von Feldern zulassen

--Füllstoff=X
fehlende Werte mit X auffüllen (Standard %s)

Allgemeines Zubehör:
-t, --Feldtrenner=X
Verwenden Sie X anstelle von TAB als Feldtrennzeichen

--narm NA/NaN-Werte überspringen

-W, - Leerzeichen
Verwenden Sie Leerzeichen (ein oder mehrere Leerzeichen und/oder Tabulatoren) für Feldtrennzeichen

-z, --null-terminiert
Zeilenende mit 0 Byte, nicht Zeilenumbruch

--help Diese Hilfe anzeigen und beenden

--Version
Ausgabe der Versionsinformation und beenden

VERFÜGBAR OPERATIONS

Reichen Sie das Operationen:
transponieren Zeilen, Spalten der Eingabedatei transponieren

rückgängig machen Feldreihenfolge in jeder Zeile umkehren

Leitungsfilterung Operationen:
rmdup Zeilen mit doppeltem Schlüsselwert entfernen

Pro Zeile Operationen:
base64 Codieren Sie das Feld als base64

erniedrigen64 Decodieren Sie das Feld als base64, beenden Sie es mit einem Fehler, wenn ein ungültiger base64-String

md5/sha1/sha256/sha512
Berechnen md5/sha1/sha256/sha512 Hash des Feldwerts

rückgängig machen Feldreihenfolge in jeder Zeile umkehren

Numerisch Gruppierung Geschäftstätigkeit
Summe Summe der Werte

Min. Minimalwert

max höchster Wert

Absmin Minimum der absoluten Werte

Absmax Maximum der Absolutwerte

Text/Numerisch Gruppierung Geschäftstätigkeit
zählen Anzahl der Elemente in der Gruppe zählen

zuerst der erste Wert der Gruppe

letzte der letzte Wert der Gruppe

and ein zufälliger Wert aus der Gruppe

einzigartiges durch Kommas getrennte sortierte Liste mit eindeutigen Werten

Zusammenbruch durch Kommas getrennte Liste aller Eingabewerte

zähleneinzigartig Anzahl eindeutiger/unverwechselbarer Werte

Statistisch Gruppierung Geschäftstätigkeit
bedeuten Mittelwert der Werte

mittlere Medianwert

q1 1. Quartil-Wert

q3 3. Quartil-Wert

iqr Interquartilsabstand

Modus Moduswert (häufigster Wert)

Antimodus Anti-Mode-Wert (kleinster gemeinsamer Wert)

pstdev Bevölkerungsstandardabweichung

sstdev Standardabweichung der Probe

pvar Populationsvarianz

Antworten Stichprobenvarianz

verrückt mittlere absolute Abweichung, skaliert mit der Konstanten 1.4826 für Normalverteilungen

Madraw mittlere absolute Abweichung, unskaliert

schief Schiefe der (Muster-)Gruppe

pschief Schiefe der (Bevölkerungs-)Gruppe
Werte x, die von 'sskew'- und 'pskew'-Operationen gemeldet werden:
x > 0 - positiv schief / rechts schief
0 > x - negativ schief / linksschief
x > 1 - stark rechtsschief
1 > x > 0.5 - mäßig schief rechts
0.5 > x > -0.5 - annähernd symmetrisch
-0.5 > x > -1 - mäßig schief links
-1 > x - stark nach links schief

skurt überschüssige Kurtose der (Proben-)Gruppe

pkurt überschüssige Kurtosis der (Bevölkerungs-)Gruppe

jaque p-Wert des Jarque-Beta-Tests für Normalität

DPO p-Wert des D'Agostino-Pearson Omnibus-Tests auf Normalität;
für 'jarque'- und 'dpo'-Operationen:
Nullhypothese ist Normalität;
niedrige p-Werte zeigen nicht-normale Daten an;
Hohe p-Werte zeigen an, dass die Nullhypothese nicht abgelehnt werden kann.

Beispiele:

Drucken Sie die Summe und den Mittelwert der Werte aus Spalte 1:

$ seq 10 | Datenmasche Summe 1 Mittelwert 1
55 5.5

Gruppeneingabe basierend auf Feld 1 und Summenwerte (pro Gruppe) auf Feld 2:

$ cat beispiel.txt
Ein 10
Ein 5
B 9
B 11
$ Datenmasche -g 1 Summe 2 < example.txt
Ein 15
B 20

Unsortierte Eingaben müssen sortiert werden (mit '-s'):

$ cat beispiel.txt
Ein 10
C 4
B 9
C 1
Ein 5
B 11
$ Datenmasche -s -g1 Summe 2 < example.txt
Ein 15
B 20
C 5

Was entspricht:

$ cat example.txt | sortieren -k1,1 | Datenmasche -g 1 Summe 2

Verwenden Sie die -h (--Überschriften) wenn die Eingabedatei eine Kopfzeile hat:

# Datei mit Schülername, Feld, Testergebnis...
$head -n5 scores_h.txt
Name Durpartitur
Shawn Engineering 47
Kaleb Geschäft 87
Christliches Geschäft 88
Derek Arts 60

# Berechnen Sie den Mittelwert und die Standardabweichung für jeden Major
$ Datenmasche --sort --headers --group 2 bedeutet 3 pstdev 3 < scores_h.txt
(oder Kurzform verwenden)
$ Datenmasche -sH -g2 Mittelwert 3 pstdev 3 < scores_h.txt
(oder verwenden Sie benannte Spalten)
$ Datenmasche -sH -g Hauptmittelwert Punktzahl pstdev Punktzahl < scores_h.txt
GroupBy(Major) mean(Punktzahl) pstdev(Punktzahl)
Kunst 68.9 10.1
Geschäft 87.3 4.9
Technik 66.5 19.1
Gesundheits-Medizin 90.6 8.8
Lebenswissenschaften 55.3 19.7
Sozialwissenschaften 60.2 16.6

Feldreihenfolge in jeder Zeile umkehren:

$ seq 6 | einfügen - - | Datenmasche rückgängig machen
2 1
4 3
6 5

Zeilen, Spalten vertauschen:

$ seq 6 | einfügen - - | Datenmasche transponieren
1 3 5
2 4 6

Zeilen mit doppeltem Schlüsselwert aus Spalte 1 entfernen (Anders als zuerst,letzte Operationen, rmdup
ist viel schneller und erfordert kein Sortieren der Datei mit -s):

# Gegeben eine Liste von Dateien und Proben-IDs:
$ Katze EINGANG
SampleID-Datei
2 cc.txt
3 dd.txt
1 ab.txt
2 ee.txt
3 ff.txt

# Zeilen mit doppelter Proben-ID entfernen (Spalte 1):
$ Datenmasche rmdup 1 < EINGANG
(oder verwendet benannte Spalte)
$ Datenmasche -H rmdup SampleID < INPUT
SampleID-Datei
2 cc.txt
3 dd.txt
1 ab.txt

Berechnen Sie den sha1-Hash-Wert jeder TXT-Datei, nachdem Sie den sha1-Wert jeder berechnet haben
Inhalt der Datei:

$ sha1sum *.txt | Datamash -Wf sha1 2

ZUSÄTZLICH INFORMATIONEN

Siehe GNU Datamash-Website (http://www.gnu.org/software/datamash)

Verwenden Sie Datamash online mit den onworks.net-Diensten