HPCdaligner - Online in de cloud

PROGRAMMA:

NAAM

HPCdaligner - genereer een script om uit te voeren uitlijner(1)

KORTE INHOUD

HPCdaligner [-vbAI] [-kint(14)] [-wint(6)][-hint(35)] [-tint] [-Mint] [-edubbel(.70)]
[-lint(1000)] [-sint(100)] [-Hint] [-mspoor]+ [-dalint(4)] [-graadint(25)] pad:db|dam
[eerst:int[-laatste:int]]

PRODUCTBESCHRIJVING

HPCdaligner schrijft een UNIX-shellscript naar de standaarduitvoer dat uit een reeks bestaat
van opdrachten die effectief worden uitgevoerd uitlijner(1) op alle paren blokken van een gesplitste database
en vervolgens extern sorteert en samenvoegt met behulp van Lsorteer(1) en LSamenvoegen(1) in een verzameling
van uitlijningsbestanden met namen pad.#.las waarbij # varieert van 1 tot het aantal blokken
database is opgesplitst in. Deze gesorteerde bestanden worden samengevoegd door zeg Lkat(1) zou bevatten
alle uitlijningen in gesorteerde volgorde (van a-read, dan b-read, enzovoort). Bovendien allemaal
overlappingen voor een bepaalde a-read worden gegarandeerd niet over bestanden verdeeld, zodat er één kan worden uitgevoerd
artefactanalysatoren of foutcorrectie op elk gesorteerd bestand parallel.

De database moet eerder zijn gesplitst door DBsplit(1) en alle parameters, behalve
-v, -dal en -graad, worden doorgegeven aan de oproepen naar uitlijner(1). De standaardinstellingen voor
deze parameters zijn zoals voor uitlijner(1). De -v flag, voor uitgebreide modus, wordt ook doorgegeven
alle oproepen naar Lsorteer(1) en LSamenvoegen(1). -dal en -graad opties worden later beschreven.

Voor een database die is verdeeld in N subblokken, worden de oproepen naar uitlijner(1) zal in totaal produceren
2TN^2 .las-bestanden, ervan uitgaande dat dalaligner met T-threads werkt. Deze worden vervolgens gesorteerd en
samengevoegd in N^2 gesorteerde .las-bestanden, één voor elk blokpaar. Deze worden vervolgens samengevoegd
ceil(log_deg N) fasen waarin het aantal bestanden geometrisch afneemt -graad tot
er is 1 bestand per rij van de N x N-blokmatrix. Dus aan het eind heeft men N gesorteerd .las
bestanden die, wanneer ze worden samengevoegd, één groot gesorteerd overlappend bestand zouden opleveren.

De -dal optie (standaard 4) geeft het gewenste aantal blokvergelijkingen per oproep aan
uitlijner(1). Sommige moeten bevatten dal-1 vergelijkingen, en de eerste dal-2 blokvergelijkingen
nog minder, maar de HPCdaligner "planner" doet zijn best om een ​​gemiddelde belasting te geven
dal-blokvergelijkingen per opdracht. De -graad optie (standaard 25) geeft het maximale aantal
van bestanden die in één bestand worden samengevoegd LSamenvoegen(1) opdracht. De planner maakt het maximale
zelfs een k-ary-boom van samenvoegingen, waarbij het aantal niveaus ceil(log_deg N) is.

Als de gehele getallen eerste en laatste ontbreken, dan is het geproduceerde script voor elk blok in
de databank. Als eerste is dan aanwezig HPCdaligner produceert een incrementeel script dat
vergelijkt blokken eerste door laatste (laatste = eerste indien niet aanwezig) tegen elkaar en
alle voorgaande blokken 1 tot en met eerste-1, en werkt vervolgens de .las-bestanden stapsgewijs bij
blokken 1 t/m eerste-1, en maakt de .las-bestanden voor blokken eerste door laatste.

Elke UNIX-opdrachtregel die wordt uitgevoerd door de HPCdaligner kan een batchtaak zijn (we gebruiken de &&
operator om verschillende opdrachten in één regel te combineren om dit mogelijk te maken). Afhankelijkheden tussen
taken kunnen eenvoudig worden onderhouden door eerst alle uitlijner(1) banen, dan alle
eerste sorteertaken en vervolgens alle taken in elke fase van de externe samenvoegsortering. Elk
van deze fasen wordt gescheiden door een informatieve commentaarregel voor uw scripting
gemak.

Gebruik HPCdaligner online met behulp van onworks.net-services