funjoin - Online w chmurze

PROGRAM:

IMIĘ

funjoin - połącz dwie lub więcej tabel binarnych FITS na określonych kolumnach

STRESZCZENIE

zabawa [przełączniki] ...

OPCJE

-a cols #kolumny do aktywacji we wszystkich plikach
-a1 cols ... cols # kolumny do aktywacji w każdym pliku
-b 'c1:bvl,c2:bv2' # puste wartości dla wspólnych kolumn we wszystkich plikach
-bn 'c1:bv1,c2:bv2' # puste wartości dla kolumn w określonych plikach
-j col # kolumna do przyłączenia się we wszystkich plikach
-j1 col ... jn col # kolumna do dołączenia w każdym pliku
-m min # min pasuje do wyprowadzenia wiersza
-M max # max pasuje do wyjścia wiersza
-s # dodaj kolumnę statusu 'jfiles'
-S col # dodaj col jako kolumnę stanu
-t tol # tolerancja dla łączenia kolumn numerycznych [tylko 2 pliki]

OPIS

zabawa łączy wiersze z dwóch lub więcej (do 32) plików tabeli binarnej FITS, w oparciu o
wartości określonych kolumn złączenia w każdym pliku. NB: kolumny łączenia muszą mieć indeks
plik z nim powiązany. Pliki te są generowane przy użyciu indeks zabawy program.

Pierwszy argument programu określa pierwszą wejściową tabelę FITS lub nieprzetworzony plik zdarzeń.
Jeśli określono "stdin", dane są odczytywane ze standardowego wejścia. Kolejne argumenty
określ dodatkowe pliki zdarzeń i tabele do dołączenia. Ostatni argument to wynik FITS
plik.

Uwaga: tak nie użyj notacji wsporników Funtools, aby określić rozszerzenia FITS i filtry wierszy, gdy
bieganie funjoin lub otrzymasz złe wyniki. Dostęp do rzędów i ich łączenie odbywa się za pomocą
indeksuj pliki bezpośrednio, a to omija wszelkie filtrowanie.

Kolumny łączenia są określane za pomocą -j col przełącznik (który określa nazwę kolumny do
użyj dla wszystkich plików) lub z -j1 kol1, -j2 kol2... -jn kol przełączniki (które określają a
nazwa kolumny do użycia dla każdego pliku). Dla każdego pliku należy określić kolumnę łączenia. Jeśli oba
-j col i -jn kol są określone dla danego pliku, wtedy używany jest ten drugi. Dołącz do kolumn
musi być typu string lub typu numeric; mieszanie liczb i ciągów znaków jest nielegalne
kolumny w danym sprzężeniu. Na przykład, aby połączyć trzy pliki przy użyciu tej samej kolumny klucza dla
każdy plik użyj:

funjoin -j klawisz in1.pasuje do2.pasuje do3.pasuje nie.pasuje

Dla trzeciego pliku można określić inny klucz w ten sposób:

funjoin -j klucz -j3 inny klucz do1.pasuje do2.pasuje do3.pasuje do.pasuje

Połączenia -a "kolumny" przełącznik (i .A1 „kol1”, .A2 "kolumny2" odpowiedniki) mogą być użyte do określenia
kolumny do aktywacji (tj. zapisu do pliku wyjściowego) dla każdego pliku wejściowego. Domyślnie wszystkie
kolumny są wyprowadzane.

Jeśli dwie lub więcej kolumn z oddzielnych plików ma tę samą nazwę, druga (i kolejne)
nazwy kolumn są zmieniane tak, aby zawierały podkreślenie i dołączoną wartość liczbową.

Połączenia -m min i -M max przełączniki określają minimalną i maksymalną liczbę połączeń wymaganych do
napisz wiersz. Domyślne minimum to 0 złączeń (tzn. wszystkie wiersze są wypisane), a
domyślna wartość maksymalna to 63 (maksymalna liczba możliwych złączeń przy limicie 32 wejść)
pliki). Na przykład, aby wypisać tylko te wiersze, w których dokładnie dwa pliki mają kolumny
ten mecz (tj. jedno dołączenie):

funjoin -j klucz -m 1 -M 1 we1.pasuje do2.pasuje do3.pasuje ...wyj.pasuje

Dany wiersz może mieć wymaganą liczbę złączeń bez dołączania wszystkich plików
(np. trzy pliki są łączone, ale tylko dwa mają określoną wartość klucza łączenia). W tym
przypadku, wszystkie kolumny niepołączonego pliku są domyślnie wypisywane za pomocą spacji
(zera lub NULL). ten -b c1:bv1,c2:bv2 i -b1 'c1:bv1,c2:bv2' -b2 'c1:bv1,c2 - bv2' ...
przełączników można użyć do ustawienia pustej wartości dla kolumn wspólnych dla wszystkich plików i/lub kolumn
odpowiednio w określonym pliku. Każdy pusty ciąg wartości zawiera listę oddzieloną przecinkami
of column:blank_val specyfikatorów. Dla wartości zmiennoprzecinkowych (pojedynczych lub podwójnych), przypadek-
niewrażliwa wartość ciągu „nan” oznacza, że ​​należy użyć IEEE NaN (nie-liczba).
Na przykład:

funjoin -b "AKEY:???" -b1 "A:-1" -b3 "G:NaN,E:-1,F:-100" ...

oznacza, że ​​niezłączona kolumna AKEY w dowolnym pliku będzie zawierać ciąg „???”,
połączone Kolumna pliku 1 będzie zawierała wartość -1, niezłączona kolumna G pliku 3
będzie zawierać IEEE NaN, podczas gdy niepołączone kolumny E i F tego samego pliku będą zawierać
wartości odpowiednio -1 i -100. Oczywiście, gdzie są wspólne i konkretne wartości puste
określone dla tej samej kolumny, używana jest określona wartość pusta.

Aby odróżnić, które pliki są niepustymi składnikami danego wiersza, -s przełącznik (stanu)
można użyć do dodania kolumny z maską bitową o nazwie „JFILES” do pliku wyjściowego. W tej kolumnie a
bit jest ustawiany dla każdego niepustego pliku składającego się na dany wiersz, przy czym bit 0 odpowiada
pierwszy plik, bit 1 do drugiego pliku i tak dalej. Same nazwy plików są przechowywane w
nagłówek FITS jako parametry o nazwach JFILE1, JFILE2 itp -S col przełącznik pozwala na
zmień nazwę kolumny stanu z domyślnej „JFILES”.

Sprzężenie między wierszami to iloczyn kartezjański wszystkich wierszy w jednym pliku o danym złączeniu
wartość kolumny ze wszystkimi wierszami w drugim pliku mającymi tę samą wartość dla kolumny łączenia i
wkrótce. Tak więc, jeśli plik1 ma 2 wiersze z wartością kolumny łączenia 100, plik2 ma 3 wiersze z wartością
taką samą wartość, a plik3 ma 4 wiersze, a następnie połączenie daje wynik 2*3*4=24 wiersze.

Algorytm łączenia bezpośrednio przetwarza plik indeksu powiązany z kolumną łączenia
każdy plik. Jako podstawę wybierana jest najmniejsza wartość ze wszystkich obecnych kolumn, a to
value służy do łączenia kolumn o równej wartości w innych plikach. W ten sposób indeks
pliki są przeszukiwane dokładnie raz.

Połączenia -t tol przełącznik określa wartość tolerancji dla kolumn liczbowych. Obecnie a
wartość tolerancji może łączyć tylko dwa pliki na raz. (Zupełnie inny algorytm to
wymagane do połączenia więcej niż dwóch plików za pomocą tolerancji, coś, co możemy rozważyć
wdrożenie w przyszłości.)

Poniższy przykład pokazuje wiele funkcji funjoin. Pliki wejściowe t1.fits,
t2.fits i t3.fits zawierają następujące kolumny:

[sh] fundisp t1.pasuje
KLUCZ AKEY AB
----------- ------ ------ ------
aaa 0 0 1
bbb 1 3 4
ccc 2 6 7
dd 3 9 10
ee 4 12 13
ff 5 15 16
gg 6 18 19
hehe 7 21 22

fundisp t2.pasuje
Płyta CD z kluczem AKEY
----------- ------ ------ ------
III 8 24 25
gg 6 18 19
ee 4 12 13
ccc 2 6 7
aaa 0 0 1

fundisp t3.pasuje
KLUCZ AKEY EFG ------------ ------ -------- --------
-----------
ggg 6 18 19 100.10
jjj 9 27 28 200.20
aaa 0 0 1 300.30
ddd 3 9 10 400.40

Biorąc pod uwagę te pliki wejściowe, następująca komenda funjoin:

funjoin -s -a1 "-B" -a2 "-D" -a3 "-E" -b \
"KLUCZ:???" -b1 "AKEY:XXX,A:255" -b3 "G:NaN,E:-1,F:-100" \
-j klucz t1.pasuje t2.pasuje t3.pasuje foo.pasuje

połączy pliki w kolumnie KEY, wypisując wszystkie kolumny oprócz B (w t1.fits), D (w
t2.fits) i E (w t3.fits) oraz ustawienie pustych wartości dla AKEY (globalnie, ale nadpisane
dla t1.fits) i A (w pliku 1) oraz G, E i F (w pliku 3). Kolumna JFILES będzie
wyjście do oznaczenia, które pliki zostały użyte w każdym wierszu:

AKEY KEY A AKEY_2 KEY_2 C AKEY_3 KEY_3 FG JFILES
------------ ------ ------ ------------ ------ ------ -- ---------- ------ -------- ----------- --------
aaa 0 0 aaa 0 0 aaa 0 1 300.30 7
bbb 1 3 ??? 0 0 ??? 0 -100 na 1
ccc 2 6 ccc 2 6 ??? 0 -100 na 3
ddd 3 9 ??? 0 0 ddd 3 10 400.40 5
ee 4 12 ee 4 12 ??? 0 -100 na 3
fff 5 15 ??? 0 0 ??? 0 -100 na 1
gg 6 18 gg 6 18 gg 6 19 100.10 7
hhh 7 21 ??? 0 0 ??? 0 -100 na 1
XXX 0 255 iii 8 24 ??? 0 -100 na 2
XXX 0 255 ??? 0 0 jjj 9 28 200.20 4

Korzystaj z funjoin online za pomocą usług onworks.net