funjoin - Online in de cloud

PROGRAMMA:

NAAM

funjoin - voeg twee of meer FITS binaire tabellen samen in gespecificeerde kolommen

KORTE INHOUD

doe mee [schakelaars] ...

OPTIES

-a cols # kolommen die in alle bestanden moeten worden geactiveerd
-a1 cols ... een cols # kolommen die in elk bestand moeten worden geactiveerd
-b 'c1:bvl,c2:bv2' # lege waarden voor algemene kolommen in alle bestanden
-bn 'c1:bv1,c2:bv2' # lege waarden voor kolommen in specifieke bestanden
-j col # kolom om alle bestanden samen te voegen
-j1 col ... jn col # kolom die in elk bestand moet worden samengevoegd
-m min # min komt overeen om een ​​rij uit te voeren
-M max # max komt overeen om een ​​rij uit te voeren
-s # voeg de statuskolom 'jfiles' toe
-S col # voeg col toe als statuskolom
-t tol # tolerantie voor het samenvoegen van numerieke kolommen [slechts 2 bestanden]

PRODUCTBESCHRIJVING

doe mee voegt rijen samen van twee of meer (maximaal 32) FITS binaire tabelbestanden, gebaseerd op de
waarden van de opgegeven join-kolommen in elk bestand. Let op: de join-kolommen moeten een index hebben
bestand dat eraan gekoppeld is. Deze bestanden worden gegenereerd met behulp van de funindex programma.

Het eerste argument voor het programma specificeert de eerste FITS-invoertabel of het onbewerkte gebeurtenisbestand.
Als "stdin" is opgegeven, worden gegevens uit de standaardinvoer gelezen. Volgende argumenten
geef extra gebeurtenisbestanden en tabellen op waaraan u wilt deelnemen. Het laatste argument is de uitvoer FITS
bestand.

Let op: doen niet gebruik Funtools Bracket Notation om FITS-extensies en rijfilters te specificeren wanneer
funjoin uitvoeren, anders krijg je verkeerde resultaten. Rijen zijn toegankelijk en samengevoegd met behulp van de
indexbestanden rechtstreeks, en dit omzeilt alle filters.

De join-kolommen worden opgegeven met behulp van de -j col switch (die een kolomnaam specificeert voor
gebruik voor alle bestanden) of met -j1 col1, -j2 col2, ... -jn coln schakelaars (die een
kolomnaam die voor elk bestand moet worden gebruikt). Voor elk bestand moet een join-kolom worden opgegeven. Als beide
-j col en -jn coln zijn opgegeven voor een bepaald bestand, dan wordt dit laatste gebruikt. Sluit u aan bij kolommen
moet van het type string of numeriek zijn; het is illegaal om numeriek en string te combineren
kolommen in een bepaalde join. Als u bijvoorbeeld drie bestanden wilt samenvoegen met dezelfde sleutelkolom voor
gebruik voor elk bestand:

funjoin -j sleutel in1.past in2.past in3.past uit.past

Voor het derde bestand kan op deze manier een andere sleutel worden opgegeven:

funjoin -j sleutel -j3 andere sleutel in1.past in2.past in3.past uit.past

De -a "kolen" schakelaar (en .A1 "kol1", .A2 "cols2" tegenhangers) kunnen worden gebruikt om te specificeren
kolommen die voor elk invoerbestand moeten worden geactiveerd (dwz naar het uitvoerbestand moeten worden geschreven). Standaard allemaal
kolommen worden uitgevoerd.

Als twee of meer kolommen uit afzonderlijke bestanden dezelfde naam hebben, wordt de tweede (en daaropvolgende)
kolommen worden hernoemd, zodat er een onderstrepingsteken en een numerieke waarde worden toegevoegd.

De -m Min en -M max schakelaars specificeren het minimale en maximale aantal joins dat vereist is
schrijf een rij op. Het standaardminimum is 0 joins (dat wil zeggen dat alle rijen worden uitgeschreven) en de
het standaard maximum is 63 (het maximale aantal mogelijke joins met een limiet van 32 invoer).
bestanden). Om bijvoorbeeld alleen die rijen uit te schrijven waarin precies twee bestanden kolommen hebben
die overeenkomen (dat wil zeggen één join):

funjoin -j key -m 1 -M 1 in1.past in2.past in3.past ... buiten.past

Een bepaalde rij kan het vereiste aantal joins hebben zonder dat alle bestanden zijn samengevoegd
(Er worden bijvoorbeeld drie bestanden samengevoegd, maar slechts twee hebben een bepaalde join-sleutelwaarde). In deze
In dat geval worden alle kolommen van het niet-samengevoegde bestand standaard uitgeschreven met spaties
(nullen of NULL's). De -b c1:bv1,c2:bv2 en -b1 'c1:bv1,c2:bv2' -b2 'c1:bv1,c2 - bv2' ...
schakelaars kunnen worden gebruikt om de blanco waarde in te stellen voor kolommen die gemeenschappelijk zijn voor alle bestanden en/of kolommen
in een specifiek bestand, respectievelijk. Elke lege waardereeks bevat een door komma's gescheiden lijst
van kolom:blank_val-specificaties. Voor drijvende-kommawaarden (enkel of dubbel), een case-
ongevoelige tekenreekswaarde van "nan" betekent dat de IEEE NaN (niet-een-getal) moet worden gebruikt.
Zo bijvoorbeeld:

funjoin -b "AKEY:???" -b1 "A:-1" -b3 "G:NaN,E:-1,F:-100" ...

betekent dat een niet-aangesloten AKEY-kolom in een bestand de tekenreeks "???" zal bevatten, de niet-
samengevoegd Een kolom van bestand 1 zal de waarde -1 bevatten, de niet-samengevoegde G-kolom van bestand 3
zal IEEE NaN's bevatten, terwijl de niet-samengevoegde E- en F-kolommen van hetzelfde bestand
waarden -1 en -100, respectievelijk. Natuurlijk, waar algemene en specifieke blanco waarden zijn
opgegeven voor dezelfde kolom, wordt de specifieke blanco waarde gebruikt.

Om te onderscheiden welke bestanden niet-lege componenten van een bepaalde rij zijn, kan het -s (status)schakelaar
kan worden gebruikt om een ​​bitmaskerkolom met de naam "JFILES" aan het uitvoerbestand toe te voegen. In deze column een
bit wordt ingesteld voor elk niet-leeg bestand waaruit de gegeven rij bestaat, waarbij bit 0 overeenkomt met de
eerste bestand, bit 1 naar het tweede bestand, enzovoort. De bestandsnamen zelf worden opgeslagen in
de FITS-header als parameters met de naam JFILE1, JFILE2, enz. De -S col schakelaar maakt dit mogelijk
verander de naam van de statuskolom van de standaard "JFILES".

Een join tussen rijen is het Cartesiaanse product van alle rijen in één bestand met een bepaalde join
kolomwaarde waarbij alle rijen in een tweede bestand dezelfde waarde hebben voor de join-kolom en
spoedig. Dus als bestand1 2 rijen heeft met de join-kolomwaarde 100, heeft bestand2 3 rijen met de
dezelfde waarde, en file3 heeft 4 rijen, dan resulteert de join in 2*3*4=24 rijen die worden uitgevoerd.

Het join-algoritme verwerkt rechtstreeks het indexbestand dat is gekoppeld aan de join-kolom van
elk bestand. De kleinste waarde van alle huidige kolommen wordt als basis geselecteerd, en dit
waarde wordt gebruikt om kolommen met gelijke waarden in de andere bestanden samen te voegen. Op deze manier wordt de index
bestanden worden precies één keer doorlopen.

De -t tol switch specificeert een tolerantiewaarde voor numerieke kolommen. Op dit moment is een
tolerantiewaarde kan slechts twee bestanden tegelijk samenvoegen. (Een heel ander algoritme is
vereist om meer dan twee bestanden samen te voegen met behulp van een tolerantie, iets wat we zouden kunnen overwegen
in de toekomst implementeren.)

Het volgende voorbeeld toont veel van de functies van funjoin. De invoerbestanden t1.fits,
t2.fits en t3.fits bevatten de volgende kolommen:

[sh] fundisp t1.fits
AKEY SLEUTEL AB
----------- ------ ------ ------
aaa 0 0 1
bb 1 3 4
cc 2 6 7
ddd 3 9 10
eee 4 12 13
fff 5 15 16
ggg 6 18 19
hhh 7 21 22

fundisp t2.past
AKEY SLEUTEL CD
----------- ------ ------ ------
iii 8 24 25
ggg 6 18 19
eee 4 12 13
cc 2 6 7
aaa 0 0 1

fundisp t3.past
AKEY SLEUTEL EFG ------------ ------ -------- --------
-----------
ggg 6 18 19 100.10
jjj 9 27 28 200.20
aaa 0 0 1 300.30
ddd 3 9 10 400.40

Gegeven deze invoerbestanden, de volgende funjoin-opdracht:

funjoin -s -a1 "-B" -a2 "-D" -a3 "-E" -b \
"EEN SLEUTEL:???" -b1 "AKEY:XXX,A:255" -b3 "G:NaN,E:-1,F:-100" \
-j sleutel t1.past t2.past t3.past foo.past

zal de bestanden in de KEY-kolom samenvoegen en alle kolommen uitvoeren behalve B (in t1.fits), D (in
t2.fits) en E (in t3.fits), en blanco waarden instellen voor AKEY (globaal, maar overschreven
voor t1.fits) en A (in bestand 1) en G, E en F (in bestand 3). Er zal een JFILES-kolom zijn
uitvoer om te markeren welke bestanden in elke rij zijn gebruikt:

AKEY SLEUTEL A AKEY_2 SLEUTEL_2 C AKEY_3 SLEUTEL_3 FG JFILES
----------- ------ ------ ------------ ------ ------ -- ---------- ------ -------- ----------- --------
aaa 0 0 aaa 0 0 aaa 0 1 300.30 7
bb 1 3 ??? 0 0 ??? 0 -100 na 1
ccc 2 6 ccc 2 6 ??? 0 -100 nano 3
ddd 3 9 ??? 0 0 ddd 3 10 400.40 5
eee 4 12 eeee 4 12 ??? 0 -100 nano 3
fff 5 15 ??? 0 0 ??? 0 -100 na 1
ggg 6 18 ggg 6 18 ggg 6 19 100.10 7
hm 7 21 ??? 0 0 ??? 0 -100 na 1
XXX 0 255 iii 8 24 ??? 0 -100 nanometer 2
XXX 0 255 ??? 0 0 jjj 9 28 200.20 4

Gebruik funjoin online met behulp van onworks.net-services